统计前设置检查标志文件至关重要,要是不检查就有可能没有准备好,就统计了,这样的就好出现结果无法解释,重新统计就好了
<coordinator-app name="gwk-med-stat-coord" frequency="${coord:days(1)}" start="${dayStart}" end="${dayEnd}" timezone="Asia/Shanghai"
xmlns="uri:oozie:coordinator:0.2"><controls>
<timeout>3600</timeout> 每次调度的超时时间,-1 永不超时,0不符合条件立即超时推出。
<concurrency> 20</concurrency> 可以同时并行的 任务数。
<!--execution>${execution_order}</execution>
<throttle>${materialization_throttle}</throttle-->
</controls>
<datasets>
<dataset name=" dataset-cjf-impr" frequency="${coord:days(1)}" initial-instance="${dayDataStart}" timezone="Asia/Shanghai">
<uri-template>${nameNode}/adx-data/log/cjfImprLog/yyyymmdd=${YEAR}${MONTH}${DAY}/</uri-template> 数据文件目录,默认检查目录是 _SUCCESS
主要是用来检查数据文件有没有准备好了。
<dataset name="dataset-cjf-click" frequency="${coord:days(1)}" initial-instance="${dayDataStart}" timezone="Asia/Shanghai">
<uri-template>${nameNode}/adx-data/log/cjfClickLog/yyyymmdd=${YEAR}${MONTH}${DAY}/</uri-template>
</dataset>
<dataset name="dataset-cjf-cps_med" frequency="${coord:days(1)}" initial-instance="${dayDataStart}" timezone="Asia/Shanghai">
<uri-template>${nameNode}/user/hive/warehouse/yiqifa_db.db/redo_date/create_date=${YEAR}${MONTH}${DAY}/</uri-template>
</dataset>
</datasets>
<input-events>
<data-in name="in-cjf-impr" dataset="dataset-cjf-impr"> 数据输入到计算程序时,检查指定数据目录上的标志文件,有没有好,不好就等待。
<instance>${coord:current(-1)}</instance>
</data-in>
<data-in name="in-cjf-click" dataset="dataset-cjf-click">
<instance>${coord:current(-1)}</instance>
</data-in>
<data-in name="in-cjf-cps_med" dataset="dataset-cjf-cps_med">
<instance>${coord:current(-1)}</instance>
</data-in>
</input-events>
<action>
<workflow>
<app-path>${workflowDayGwkMedAppUri}</app-path>
<configuration>
<property>
<name>yyyymmdd</name>
<value>${coord:formatTime(coord:dateOffset(coord:nominalTime(),-1,'DAY'), 'yyyyMMdd')}</value> 设置动态参数
</property>
<property>
<name>yyyymmdd30</name>
<value>${coord:formatTime(coord:dateOffset(coord:nominalTime(),-15,'DAY'), 'yyyyMMdd')}</value>
</property>
</configuration>
</workflow>
</action>
</coordinator-app>