DATE1=$1;
DATE2=$2; hadoop fs -get /user/tianchao/BUS/2017data/$DATE1.csv ./SZT/ #从别人的集群目录下载文件到自己的本地文件夹 iconv -f gbk -t utf-8 -c ./SZT/$DATE1.csv -o ./SZT/$DATE2 #转换格式 hadoop fs -copyFromLocal ./SZT/$DATE2/ ./SZT/ #上传到集群 rm -r ./SZT/$DATE2; rm -r ./SZT/$DATE1.csv;
#for i in {01..31};do sh ./sh/tran_format.sh 200_201707$i 201707$i;done #循环操作#删除本地文件
本段代码主要实现从集群下载文件,然后在shell本地转换格式。
将本段代码保存为tran_format.sh文件,在shell命令行输入最后一行代码即可实现批量转换文件格式,并批量删除转换前不需要的文件