0425-如何清理Sqoop脚本产生的临时编译目录

本文介绍了如何解决Sqoop在执行数据抽取时,`/tmp/sqoop-${user}/compile`目录下产生的临时编译文件不自动清除的问题。通过在集群节点上安装`tmpwatch`,并在`Sqoop 1 Client`服务配置中添加清理脚本,实现了1小时后自动清理编译目录。 Sqoop的这个问题在3.0.0版本之后才得到修正,但CDH版本中尚未修复。
摘要由CSDN通过智能技术生成

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。
Fayson的github:
https://github.com/fayson/cdhproject
提示:代码块部分可以左右滑动查看噢

1.文档编写目的


在使用Sqoop命令进行数据抽取时,执行的抽数脚本会在/tmp/sqoop-${user}/compile目录下产生临时的编译文件,脚本执行成功后这些生成的临时文件并不会自动的清除。该问题是官网已知的一个JIRA,具体可信息如下链接:

https://issues.apache.org/jira/browse/SQOOP-3042

本篇文章Fayson主要介绍通过脚本的方式,在用户执行Sqoop命令时自动的清理产生的临时编译目录。

  • 内容概述

1.环境准备

2.Sqoop配置清理脚本及验证

3.总结

  • 测试环境

1.RedHat7.3

2.CM和CDH版本为5.15

2.环境准备


1.在集群所有节点安装tmpwatch,命令如下:

[root@cdh03 ~]# yum -y install tmpwatch

(可左右滑动)

2.通过CM安装“Sqoop 1 Client1”服务

选择Gateway节点

部署客户端配置

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值