Hue自动调度Oozie及sqoop驱动问题

一、基本入门

配置环境-步骤-定时—傻瓜式入门
报错信息日志访问路径
定时任务之EL时间表达式

二、遇到的问题

（一）输出大小限制问题

一般情况下204800足够用了，还报错的话就再加一个0
修改输出大小默认是2048，在oozie-site.xml修改配置，重启
<property>
    <name>oozie.action.max.output.data</name>
    <value>2048000</value>
</property>

（二）时区问题

此链接解决时区配置问题

（三）JDBC驱动问题

1、hadoop&sqoop 驱动

因为调度中需要使用sqoop导入导出MySQL，所以先将MySQL驱动mysql-connector-java-5.1.47.jar复制到hadoop、sqoop、以及Oozie的HDFS目录下sqoop中，lib_20181213173721，这个是Oozie搭建时生成，各不相同

cp mysql-connector-java-5.1.47.jar /opt/cloudera/parcels/CDH/lib/hadoop/lib
cp mysql-connector-java-5.1.47.jar /opt/cloudera/parcels/CDH/lib/sqoop/lib

HDFS路径下也要加，除了hdfs用户之外，root用户也要有一个
sudo -uhdfs hadoop fs -put jdbc.jar /user/oozie/share/lib/lib_{每台机器各不相同}/sqoop

用root用户上传一个jar包，否则oozie定时拉取sqoop会报驱动找不到的错误

2、用户权限问题

上传至HDFS 切换用户 ，因为hdfs是超级管理员

EL时间表达式

数据仓库常用的减一天时间格式
{coord:formatTime(coord:dateOffset(coord:nominalTime(), -1, 'DAY'), 'yyyy-MM-dd')}
 当前执行时间减2天
${coord:formatTime(coord:dateOffset(coord:nominalTime(), -2, 'DAY'), 'yyyy-MM-dd')}