这两天在做数据的导入操作,为了方便数据的导入我们采用sqoop的方式将数据导入。但是在表很多的情况下,在hue当中部署工作流就是一件很麻烦的事情,
然后想着能不能通过shell脚本调shell脚本的方式实现在一个shell脚本当中就可以实现对多个导入操作脚本的调用。
操作脚本如下:
#!/bin/bash #sh ./import_com_organization.sh source ./import_com_organization.sh #. ./import_com_organization.sh echo "success" exit 0
这三种方式都可以实现对数据的导入操作,我这里是使用oozie的方式实现对脚本的调度操作。下面这个是sqoop的导入脚本,这个可以自己按照自己的要求去编写
![](https://i-blog.csdnimg.cn/blog_migrate/1721b81b0d725e40bbb1b8ccf1ea3919.png)
这里需要注意几个问题,在这里被调用的脚本必须和住脚本的路径一直。要不然一直报找不到路径,类似下面的这种找不到路径。这里我试了一下使用决绝路径都是不可以的,一直报路径或者文件存在。这设计真是不合理
两个文件还必须在同一目录下面。
下面说一下这种脚本在hue当中部署oozie的具体操作;
(1)将写好的脚本主脚本和被调用的脚本上传到同一目录下:
(2)然后部署工作流
接下来在yarn上面我们能看到oozie启动的laucher和action操作。
等待执行完成之后。查看结果即可。
参考文档: https://blog.csdn.net/adshiye/article/details/84311890