温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。
Fayson的github:
https://github.com/fayson/cdhproject
提示:代码块部分可以左右滑动查看噢
1.文档编写目的
在使用Sqoop命令进行数据抽取时,执行的抽数脚本会在/tmp/sqoop-${user}/compile目录下产生临时的编译文件,脚本执行成功后这些生成的临时文件并不会自动的清除。该问题是官网已知的一个JIRA,具体可信息如下链接:
https://issues.apache.org/jira/browse/SQOOP-3042
本篇文章Fayson主要介绍通过脚本的方式,在用户执行Sqoop命令时自动的清理产生的临时编译目录。
- 内容概述
1.环境准备
2.Sqoop配置清理脚本及验证
3.总结
- 测试环境
1.RedHat7.3
2.CM和CDH版本为5.15
2.环境准备
1.在集群所有节点安装tmpwatch,命令如下:
[root@cdh03 ~]# yum -y install tmpwatch
(可左右滑动)
2.通过CM安装“Sqoop 1 Client1”服务
选择Gateway节点
部署客户端配置