DM作业调度

一 功能及概念介绍

1 操作员

      操作员是负责维护 DM 服务器运行实例的个人。

2 作业

      作业是由 DM 代理程序按顺序执行的一系列指定的操作。作业可以执行更广泛的活动,包括运行 DMPL/SQL 脚本、定期备份数据库、对数据库数据进行检查等。可以创建作业来执行经常重复和可调度的任务,作业按照一个或多个调度的安排在服务器上执行。

3 警报

      警报是系统中发生的某种事件,如发生了特定的数据库操作,或出错信号,或者是作业的启动、执行完毕等事件。警报主要用于通知指定的操作员,以便其迅速了解系统中发生的
状况。

4 调度

      调度是用户定义的一个时间安排,在给定的时刻到来时,系统会启动相关的作业,按作业定义的步骤依次执行。调度可以是一次性的,也可以是周期性的。

5 作业权限

      通常作业的管理是由 DBA 来维护,普通用户没有操作作业的权限,为了让普通用户可以创建、配置和调度作业,需要赋予普通用户管理作业权限:ADMIN JOB。

      例如,授权 ADMIN JOB 给用户 NORMAL_USER。
                  GRANT ADMIN JOB TO NORMAL_USER;

      默认 DBA 拥有全部的作业权限;ADMIN JOB 权限可以添加、配置、调度和删除作业等,但没有作业环境初始化 SP_INIT_JOB_SYS(1)和作业环境销毁 SP_INIT_JOB_SYS(0)的权限。


二 创建作业的步骤

1 创建作业环境

       创建作业的第一步就是创建作业环境,即创建一些系统表来存储作业相关的对象、历史记录等信息。
      这些表总共有10张,都是在SYSJOB模式下,分别为有 SYSJOBS、SYSJOBSTEPS、SYSJOBSCHEDULES、SYSMAILINFO、SYSJOBHISTORIES2、SYSSTEPHISTORIES2、SYSALERTHISTORIES、SYSOPERATORS、SYSALERTS、SYSALERTNOTIFICATIONS

(1)通过命令行模式创建代理环境

创建:
      可以通过调用系统过程SP_INIT_JOB_SYS()来创建这些表
      语法如下:
      SP_INIT_JOB_SYS(1);
在这里插入图片描述

这样子代理环境就创建好了

删除:
      SP_INIT_JOB_SYS(0);

在这里插入图片描述

(2)通过DM管理工具创建代理环境

创建:
      打开DM管理工具,连接数据库后,找到代理
在这里插入图片描述

      右键代理,点击创建代理环境
在这里插入图片描述

创建成功

删除:
      右键代理,点击清理代理环境
在这里插入图片描述

删除成功

2 创建作业

(1)命令行模式

创建;

通过系统过程实现:
      1.创建作业通过系统过程 SP_CREATE_JOB 实现。

      语法如下:

SP_CREATE_JOB ( 
JOB_NAME            VARCHAR(128),  -- 作业名称
ENABLED              INT,           -- 作业是否启用,1 启用 0 不启用
ENABLE_EMAIL         INT,   		    -- 作业是否开启邮件系统 1 启用 0 不启用 
EMAIL_OPTR_NAME    VARCHAR(128),   -- 指定操作员姓名,开启邮件才发送
EMAIL_TYPE           INT,            -- 开启邮件后,什么时候发送 0 作业执行成功后发送 1 作业执行失败后发送  2 作业执行结束后发送
ENABLED_NETSEND     INT,            -- 作业是否开启网络发送 1 是 0 否
NETSEND_OPTR_NAME  VARCHAR(128),  -- 指定操作员姓名
NETSEND_TYPE         INT,  			-- 开启网络发送后,什么时候发送
DESCRIBE             VARCHAR(8187)  --  作业描述信息
)

例子:创建一个名为back_full的作业,不指定操作员,不开启邮件和网络系统

      call SP_CREATE_JOB(‘back_full’,1,0,’’,0,0,’’,0,‘back_full’);

在这里插入图片描述

删除:
      调用系统过程
      SP_DROP_JOB 实现。

语法如下:

SP_DROP_JOB ( 
JOB_NAME VARCHAR(128)   -- 作业名称
)

例如: 删除名为back_full的作业
call SP_DROP_JOB(‘back_full’);

在这里插入图片描述


3 配置作业

3.1 开始作业配置

      用系统过程 SP_JOB_CONFIG_START 来指定对一个作业配置的开始。
      语法如下:

SP_JOB_CONFIG_START ( 
JOB_NAME VARCHAR(128)   -- 作业名称
)

      例如: 开始对back_full作业进行配置
      call SP_JOB_CONFIG_START(‘back_full’);

在这里插入图片描述

3.2 作业步骤
(1) 增加作业步骤

      增加作业的步骤通过系统过程 SP_ADD_JOB_STEP 实现。
      语法如下:

SP_ADD_JOB_STEP ( 
JOB_NAME			VARCHAR(128),     -- 作业名称
STEP_NAME			VARCHAR(128), 	  -- 表示增加的步骤名
TYPE					INT, 				  --  表示步骤的类型,一般为6
COMMAND			VARCHAR(8187),    -- 当type为6时,'01000000/data/dmbak' 第一个数字为0或1 ,0表示完全备份,1表示增量备份具体查看手册
SUCC_ACTION 		INT,              -- 指定步骤执行成功后,下一步该做什么事。取										值 0 或 1。说明如下: 
0 表示执行下一步。 
1 表示报告执行成功,并执行下一步。
FAIL_ACTION 			INT, 				-- 指定步骤执行失败后,下一步该做什么事。取										值 0 或 2。说明如下: 
0 表示执行下一步。 
2 表示报告执行失败,并结束作业。

RETRY_ATTEMPTS	 	INT, 			-- 表示当步骤执行失败后,需要重试的次数。取值范 									围0~100 次。

RETRY_INTERVAL 		INT, 		    -- 表示在每两次步骤执行重试之间的间隔时间。不能									大于 10 秒钟。

OUTPUT_FILE_PATH	 VARCHAR(256),   -- 表示步骤执行时输出文件的路径。该参数已废										弃,没有实际意义。

APPEND_FLAG 		INT       --输出文件的追写方式。如果指定输出文件,那么这个参								数表示在写入文件时是否从文件末尾开始追写。1 是;								0 否。如果是 0,那么从文件指针当前指向的位置开始								追写。

)

      例如:为作业back_full添加步骤 back_full01,备份为全备,路径为/dm7

      call SP_ADD_JOB_STEP(‘back_full’, ‘back_full01’, 6, ‘01000000/dm7’, 1, 2, 0, 0, NULL, 0);
在这里插入图片描述

(2)删除步骤:

      通过系统过程 SP_DROP_JOB_STEP 删除这个步骤。

      语法如下:

SP_DROP_JOB_STEP ( 
JOB_NAME 	VARCHAR(128),   -- 作业名称
STEP_NAME 	VARCHAR(128)    -- 步骤名称
)

      例如,为作业 back_full删除步骤back_full01。
      Call SP_DROP_JOB_STEP(‘back_full’, ‘back_full01’);

在这里插入图片描述

3.3 作业调度
(1) 增加调度

增加调度通过调度系统过程 SP_ADD_JOB_SCHEDULE 实现。
语法如下:

SP_ADD_JOB_SCHEDULE ( 
JOB_NAME 				VARCHAR(128),        -- 作业名称
SCHEDULE_NAME			VARCHAR(128), 		 -- 待创建的调度名称
ENABLE 					INT, 					 -- 是否启用 1 启用 0 不启用
TYPE 					INT, 					 -- 指定调度类型 0-8
FREQ_INTERVAL 			INT, 					 -- 当type为0时,这个参数才起作用
FREQ_SUB_INTERVAL 		INT, 					-- 与type跟freq_interval有关
FREQ_MINUTE_INTERVAL 	INT,                  -- 表示一天内每隔多少分钟执行一次
STARTTIME 				VARCHAR(128),        -- 作业被调度的起始时间
ENDTIME 				VARCHAR(128), 		-- 定义作业被调度的结束时间
DURING_START_DATE 		VARCHAR(128), 		-- 指定作业被调度的起始日期
DURING_END_DATE 		VARCHAR(128),       -- 指定作业被调度的结束日期
DESCRIBE 				VARCHAR(500)       -- 调度的注释信息
) 
具体参数含义:
TYPE:

指定调度类型。取值 0、1、2、3、4、5、6、7、8。分别介绍如下: 
0 表示指定作业只执行一次。 
1 按天的频率来执行。 
2 按周的频率来执行。 
3 在一个月的某一天执行。 
4 在一个月的第一周第几天执行。 
5 在一个月的第二周的第几天执行。 
6 在一个月的第三周的第几天执行。 
7 在一个月的第四周的第几天执行。 
8 在一个月的最后一周的第几天执行。
FREQ_INTERVAL:

当TYPE=0时该参数生效
与 TYPE 有关。表示不同调度类型下的发生频率。说明如下: 
当 TYPE=0 时,这个值无效,系统不做检查。 
当 TYPE=1 时,表示每几天执行,取值范围为 1~100。 
当 TYPE=2 时,表示的是每几个星期执行,取值范围没有限制。 
当 TYPE=3 时,表示每几个月中的某一天执行,取值范围没有限制。 
当 TYPE=4 时,表示每几个月的第一周执行,取值范围没有限制。 
当 TYPE=5 时,表示每几个月的第二周执行,取值范围没有限制。 
当 TYPE=6 时,表示每几个月的第三周执行,取值范围没有限制。 
当 TYPE=7 时,表示每几个月的第四周执行,取值范围没有限制。 
当 TYPE=8 时,表示每几个月的最后一周执行,取值范围没有限制。
FREQ_SUB_INTERVAL:

与 TYPE 和 FREQ_INTERVAL 有关。表示不同 TYPE 的执行频率,在 FREQ_INTERVAL 
基础上,继续指定更为精准的频率。
当 TYPE=0 或 1 时,这个值无效,系统不做检查。 
当 TYPE=2 时,表示的是某一个星期的星期几执行,可以同时选中七天中的任意几天。 
取值范围 1~127。具体如何取值,请用户参考如下规则。因为每周有七天,所以 DM 数据库系统内部用七位二进制来表示选中的日子。从最低位开始算起,依次表示周日、周一...周 五、周六。选中周几,就将该位置 1,否则 0。例如,选中周二和周六,7 位二进制就是 1000100, 转化成十进制就是 68,所以 FREQ_SUB_INTERVAL 就取值 68。 
当 TYPE=3 时,表示将在一个月的第几天执行。取值范围 1~31。 
当 TYPE 为 4、5、6、7 或 8 时,都表示将在某一周内第几天执行。取值范围 1~7,分别表示从周一到周日。

例子: 在作业back_full上创建一个back_full02的调度,每天执行一次,执行时间为01:37:00,开始时间为2020-03-27 16:35:56,没有结束时间

call SP_ADD_JOB_SCHEDULE(‘back_full’, ‘back_full02’, 1, 1, 1, 8, 0, ‘01:37:00’, NULL, ‘2020-03-27 16:35:56’, NULL, ‘’);

在这里插入图片描述

(2) 删除调度

删除调度必须是在配置作业开始后才能进行,否则系统会报错
调用的函数为

SP_DROP_JOB_SCHEDULE。 
语法如下: 
SP_DROP_JOB_SCHEDULE ( 
JOB_NAME 			VARCHAR(128),   -- 作业名称
SCHEDULE_NAME 		VARCHAR(128)    -- 调度名称
)

删除back_full中名为back_full02的调度

Call SP_DROP_JOB_SCHEDULE(‘back_full’, ‘back_full02’);
在这里插入图片描述

3.4 结束作业配置

      在配置完成后,用户需要对前面所做的配置进行提交,表示对作业的配置已经完成,同时将这个作业加入到运行队列。这一步可以通过系统过程 SP_JOB_CONFIG_COMMIT 实现。

语法如下: 
SP_JOB_CONFIG_COMMIT ( 
JOB_NAME	 VARCHAR(128)    -- 作业名称
)

例子: 提交上面创建的作业back_full
call SP_JOB_CONFIG_COMMIT(‘back_full’);
在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
数据挖掘算法 算法目录 18大DM算法 包名 目录名 算法名 AssociationAnalysis DataMining_Apriori Apriori-关联规则挖掘算法 AssociationAnalysis DataMining_FPTree FPTree-频繁模式树算法 BaggingAndBoosting DataMining_AdaBoost AdaBoost-装袋提升算法 Classification DataMining_CART CART-分类回归树算法 Classification DataMining_ID3 ID3-决策树分类算法 Classification DataMining_KNN KNN-k最近邻算法工具类 Classification DataMining_NaiveBayes NaiveBayes-朴素贝叶斯算法 Clustering DataMining_BIRCH BIRCH-层次聚类算法 Clustering DataMining_KMeans KMeans-K均值算法 GraphMining DataMining_GSpan GSpan-频繁子图挖掘算法 IntegratedMining DataMining_CBA CBA-基于关联规则的分类算法 LinkMining DataMining_HITS HITS-链接分析算法 LinkMining DataMining_PageRank PageRank-网页重要性/排名算法 RoughSets DataMining_RoughSets RoughSets-粗糙集属性约简算法 SequentialPatterns DataMining_GSP GSP-序列模式分析算法 SequentialPatterns DataMining_PrefixSpan PrefixSpan-序列模式分析算法 StatisticalLearning DataMining_EM EM-期望最大化算法 StatisticalLearning DataMining_SVM SVM-支持向量机算法 其他经典DM算法 包名 目录名 算法名 Others DataMining_ACO ACO-蚁群算法 Others DataMining_BayesNetwork BayesNetwork-贝叶斯网络算法 Others DataMining_CABDDCC CABDDCC-基于连通图的分裂聚类算法 Others DataMining_Chameleon Chameleon-两阶段合并聚类算法 Others DataMining_DBSCAN DBSCAN-基于密度的聚类算法 Others DataMining_GA GA-遗传算法 Others DataMining_GA_Maze GA_Maze-遗传算法在走迷宫游戏中的应用算法 Others DataMining_KDTree KDTree-k维空间关键数据检索算法工具类 Others DataMining_MSApriori MSApriori-基于多支持度的Apriori算法 Others DataMining_RandomForest RandomForest-随机森林算法 Others DataMining_TAN TAN-树型朴素贝叶斯算法 Others DataMining_Viterbi Viterbi-维特比算法 18大经典DM算法 18大数据挖掘的经典算法以及代码实现,涉及到了决策分类,聚类,链接挖掘,关联挖掘,模式挖掘等等方面,后面都是相应算法的博文链接,希望能够帮助大家学。 目前追加了其他的一些经典的DM算法,在others的包中涉及聚类,分类,图算法,搜索算等等,没有具体分类。 C4.5 C4.5算法与ID3算法一样,都是数学分类算法,C4.5算法是ID3算法的一个改进。ID3算法采用信息增益进行决策判断,而C4.5采用的是增益率。详细介绍链接 CART CART算法的全称是分类回归树算法,他是一个二元分类,采用的是类似于熵的基尼指数作为分类决策,形成决策树后之后还要进行剪枝,我自己在实现整个算法的时候采用的是代价复杂度算法,详细介绍链接 KNN K最近邻算法。给定一些已经训练好的数据,输入一个新的测试数据点,计算包含于此测试数据点的最近的点的分类情况,哪个分类的类型占多数,则此测试点的分类与此相同,所以在这里,有的时候可以复制不同的分类点不同的权重。近的点的权重大点,远的点自然就小点。详细介绍链接 Naive Bayes 朴素贝叶斯算法。朴素贝叶斯算法是贝叶斯算法里面一种比较简单的分类算法,用到了一个比较重要的贝叶斯定理,用一句简单的话概括就是条件概率的相互转换推导。详细介绍链接 SVM 支持向量机算法。支持向量机算法是一种对线性和非线性数据进行分类的方法,非线性数据进行分类的时候可以通过核函数转为线性的情况再处理。其中的一个关键的步骤是搜索最大边缘超平面。详细介绍链接 EM 期望最大化算法。期望最大化算法,可以拆分为2个算法,1个E-Step期望化步骤,和1个M-Step最大化步骤。他是一种算法框架,在每次计算结果之后,逼近统计模型参数的最大似然或最大后验估计。详细介绍链接 Apriori Apriori算法是关联规则挖掘算法,通过连接和剪枝运算挖掘出频繁项集,然后根据频繁项集得到关联规则,关联规则的导出需要满足最小置信度的要求。详细介绍链接 FP-Tree 频繁模式树算法。这个算法也有被称为FP-growth算法,这个算法克服了Apriori算法的产生过多侯选集的缺点,通过递归的产生频度模式树,然后对树进行挖掘,后面的过程与Apriori算法一致。详细介绍链接 PageRank 网页重要性/排名算法。PageRank算法最早产生于Google,核心思想是通过网页的入链数作为一个网页好快的判定标准,如果1个网页内部包含了多个指向外部的链接,则PR值将会被均分,PageRank算法也会遭到LinkSpan攻击。详细介绍链接 HITS HITS算法是另外一个链接算法,部分原理与PageRank算法是比较相似的,HITS算法引入了权威值和中心值的概念,HITS算法是受用户查询条件影响的,他一般用于小规模的数据链接分析,也更容易遭受到攻击。详细介绍链接 K-Means K-Means算法是聚类算法,k在在这里指的是分类的类型数,所以在开始设定的时候非常关键,算法的原理是首先假定k个分类点,然后根据欧式距离计算分类,然后去同分类的均值作为新的聚簇中心,循环操作直到收敛。详细介绍链接 BIRCH BIRCH算法利用构建CF聚类特征树作为算法的核心,通过树的形式,BIRCH算法扫描数据库,在内存中建立一棵初始的CF-树,可以看做数据的多层压缩。详细介绍链接 AdaBoost AdaBoost算法是一种提升算法,通过对数据的多次训练得到多个互补的分类器,然后组合多个分类器,构成一个更加准确的分类器。详细介绍链接 GSP GSP算法是序列模式挖掘算法。GSP算法也是Apriori类算法,在算法的过程中也会进行连接和剪枝操作,不过在剪枝判断的时候还加上了一些时间上的约束等条件。详细介绍链接 PreFixSpan PreFixSpan算法是另一个序列模式挖掘算法,在算法的过程中不会产生候选集,给定初始前缀模式,不断的通过后缀模式中的元素转到前缀模式中,而不断的递归挖掘下去。详细介绍链接 CBA 基于关联规则分类算法。CBA算法是一种集成挖掘算法,因为他是建立在关联规则挖掘算法之上的,在已有的关联规则理论前提下,做分类判断,只是在算法的开始时对数据做处理,变成类似于事务的形式。详细介绍链接 RoughSets 粗糙集算法。粗糙集理论是一个比较新颖的数据挖掘思想。这里使用的是用粗糙集进行属性约简的算法,通过上下近似集的判断删除无效的属性,进行规制的输出。详细介绍链接 GSpan gSpan算法属于图挖掘算法领域。,主要用于频繁子图的挖掘,相较于其他的图算法,子图挖掘算法是他们的一个前提或基础算法。gSpan算法用到了DFS编码,和Edge五元组,最右路径子图扩展等概念,算法比较的抽象和复杂。详细介绍链接 Others目录下的算法: GA 遗传算法。遗传算法运用了生物进化理论的知识来寻找问题最优解的算法,算法的遗传进化过程分选择,交叉和变异操作,其中选择操是非常关键的步骤,把更适应的基于组遗传给下一代。详细介绍链接 DbScan 基于空间密度聚类算法。dbScan作为一种特殊聚类算法,弥补了其他算法的一些不足,基于空间密,实现聚类效果,可以发现任意形状的聚簇。详细介绍链接 GA_Maze 遗传算法在走迷宫游戏中的应用。将走迷宫中的搜索出口路径的问题转化为遗传算法中的问题通过构造针对此特定问题的适值函数,基因移动方向的定位,巧的进行问题的求解。详细介绍链接 CABDDCC 基于连通图的分裂聚类算法。也是属于层次聚类算法主要分为2个阶段,第一阶段构造连通图。第二个阶段是分裂连通图,最终形成聚类结果。详细介绍链接 Chameleon 两阶段聚类算法。与CABDDCC算法相反,最后是通过对小簇集合的合并,形成最终的结果,在第一阶段主要是通过K近邻的思想形成小规模的连通图,第二阶段通过RI(相对互连性)和RC(相对近似性)来选一个最佳的簇进行合并。详细介绍链接 RandomForest 随机森林算法。算法思想是决策树+boosting.决策树采用的是CART分类回归数,通过组合各个决策树的弱分类器,构成一个最终的强分类器,在构造决策树的时候采取随机数量的样本数和随机的部分属性进行子决策树的构建,避免了过分拟合的现象发生。详细介绍链接 KDTree K-Dimension Tree。多维空间划分树,数据在多维空间进行划分与查找。主要用于关键信息的搜索,类似于在空间中的二分搜索,大大提高了搜索效率,在寻找目标元素时,使用了DFS深度优先的方式和回溯进行最近点的寻找。详细介绍链接 MS-Apriori 基于多支持度的Apriori算法。是Apriori算法的升级算法,弥补了原先Apriori算法的不足,还增加了支持度差别限制以及支持度计数统计方面的优化,无须再次重新扫描整个数据集,产生关联规则的时候可以根据子集的关系避免一些置信度的计算。详细介绍链接 ACO 蚁群算法。蚁群算法又称为蚂蚁算法。同GA遗传算法类似,也是运用了大自然规律的算法,用于在图中寻找最优路径的概率型算法。灵感来源于蚂蚁在寻找食物时会散播信息素的发现路径行为。详细介绍链接 BayesNetwork 贝叶斯网络算法。弥补了朴素贝叶斯算法中必须要事件独立性的缺点,利用了贝叶斯网络的DAG有向无环图,允许各个事件保留一定的依赖关系,网络结构中的每个节点代表一种属性,边代表相应的条件概率值,通过计算从而能得到精准的分类效果。详细介绍链接 TAN 树型朴素贝叶斯算法。此算法又被称为加强版朴素贝叶斯算法。在满足原有朴素贝叶斯条件的基础上,他允许部条件属性直接的关联性。形成树型的结构。详细介绍链接 Viterbi 维特比算法。给定一个隐马尔科夫模型以及一个观察序列,求出潜在的状态序列信息,每个潜在状态信息又会受到前一个状态信息的影响。 算法使用方法 在每个算法中给出了3大类型,主算法程序,调用程序,输入数据,调用方法如下: 将需要数据的测试数据转化成与给定的输入格式相同 然后以Client类的测试程序调用方式进行使用。 也可以自行修改算法程序,来适用于自己的使用场景

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值