编写shell脚本通过ftp下载文件并进行合并去重操作

#!/bin/bash

 

today_date=`date +%Y%m%d`

now=`date +'%Y-%m-%d %H:%M:%S'`

 

echo "===================================${now}脚本开始执行=====================================" >> /home/shell/log/data.log.${today_date}

#删除重名文件

rm -rf /home/test/${today_date}*.txt

 

echo "正在下载文件......" >> /home/shell/log/data.log.${today_date}

 

#连接ftp

ftp -n<<!

open 0.0.0.0

user username password

binary

#进入ftp下载目录

cd download/data

#指定下载到本地的目录

lcd /home/test/

prompt

#批量下载

mget ${today_date}*.txt

close

bye

!

 

echo "文件下载完毕，开始合并数据......" >> /home/shell/log/data.log.${today_date}

#合并文件

cat /home/test/${today_date}*.txt > /home/test/merge.txt.${today_date}

#替换不可见字符SOH为|

tr '\001' '\|' </home/test/merge.txt.${today_date}> /home/test/merge2.txt.${today_date}

#取出手机号

cat /home/test/merge2.txt.${today_date} |awk -F '|' '{print $2}' > /home/test/merge3.txt.${today_date}

echo "合并数据完毕，开始号码去重......" >> /home/shell/log/data.log.${today_date}

#号码去重

sort /home/test/merge3.txt.${today_date} | uniq > /home/test/replaceWhite_${today_date}

echo "号码去重完毕，开始删除临时数据......" >> /home/shell/log/data.log.${today_date}

#删除无用文件

rm -rf /home/4G/sdltjf/merge*.txt.${today_date}

rm -rf /home/4G/sdltjf/noget*_${today_date}*_jc.txt

echo "临时数据删除完毕，开始上传任务......" >> /home/shell/log/data.log.${today_date}

sh /home/shell/uploadPhone.sh

echo "===================================${now}脚本结束执行=====================================" >> /home/shell/log/data.log.${today_date}