#!/bin/bash
today_date=`date +%Y%m%d`
now=`date +'%Y-%m-%d %H:%M:%S'`
echo "===================================${now}脚本开始执行=====================================" >> /home/shell/log/data.log.${today_date}
#删除重名文件
rm -rf /home/test/${today_date}*.txt
echo "正在下载文件......" >> /home/shell/log/data.log.${today_date}
#连接ftp
ftp -n<<!
open 0.0.0.0
user username password
binary
#进入ftp下载目录
cd download/data
#指定下载到本地的目录
lcd /home/test/
prompt
#批量下载
mget ${today_date}*.txt
close
bye
!
echo "文件下载完毕,开始合并数据......" >> /home/shell/log/data.log.${today_date}
#合并文件
cat /home/test/${today_date}*.txt > /home/test/merge.txt.${today_date}
#替换不可见字符SOH为|
tr '\001' '\|' </home/test/merge.txt.${today_date}> /home/test/merge2.txt.${today_date}
#取出手机号
cat /home/test/merge2.txt.${today_date} |awk -F '|' '{print $2}' > /home/test/merge3.txt.${today_date}
echo "合并数据完毕,开始号码去重......" >> /home/shell/log/data.log.${today_date}
#号码去重
sort /home/test/merge3.txt.${today_date} | uniq > /home/test/replaceWhite_${today_date}
echo "号码去重完毕,开始删除临时数据......" >> /home/shell/log/data.log.${today_date}
#删除无用文件
rm -rf /home/4G/sdltjf/merge*.txt.${today_date}
rm -rf /home/4G/sdltjf/noget*_${today_date}*_jc.txt
echo "临时数据删除完毕,开始上传任务......" >> /home/shell/log/data.log.${today_date}
sh /home/shell/uploadPhone.sh
echo "===================================${now}脚本结束执行=====================================" >> /home/shell/log/data.log.${today_date}
编写shell脚本通过ftp下载文件并进行合并去重操作
最新推荐文章于 2022-12-30 09:15:46 发布