执行前的准备
[root@hadoop001 bin]# cp /opt/software/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/hadoop/lib
[root@hadoop001 bin]# cp /opt/software/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/sqoop/lib/
这里要看hdfs上Oozie目录,我的是lib_20190721195953
[root@hadoop001 bin]# hadoop fs -put /opt/software/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /user/oozie/share/lib/lib_20190721195953/sqoop
[root@hadoop001 bin]# xsync /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/hadoop/lib
[root@hadoop001 bin]# xsync /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/sqoop/lib/
修改YARN的容器内存yarn.nodemanager.resource.memory-mb为4G
重启yarn
新建hue账户,admin下会报错
在hue的webUI下
登出
在Hue中创建Oozie任务GMV
在SQLyog里生成数据
CALL init_data(‘2019-02-12’,300,200,300,FALSE);
安装Oozie可视化js,复制ext-2.2.zip到/opt/cloudera/parcels/CDH/lib/oozie/libext(或/var/lib/oozie)中,解压
点击My Workflow->输入gmv
保存
编写的脚本上传到hdfs上
上传位置
[root@hadoop001 bin]# hadoop fs -put /root/bin/*.sh /user/hue/oozie/workspaces/hue-oozie-1563724285.92/lib
查看hdfs上是否存在后
来到hue
点击下刚才的GMV
点击笔,选择Actions
拖拽shell
这时会看到调度的脚本,选择sqoop-import.sh
也要添加sqoop-import脚本
输入的参数
灵活的使用采用${date}这样的
然后ods
文件和目录相同
记得保存哦
执行提交即可