shell脚本采集ftp数据样例

最新推荐文章于 2023-05-16 11:04:15 发布
最新推荐文章于 2023-05-16 11:04:15 发布
阅读量380 收藏
点赞数
分类专栏： shell 文章标签： shell linux ftp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zcb_data/article/details/113374045
版权 
#!/bin/bash
#author zcb
# *************************************
# 功能描述:
# 	检查从ftp 下载数据情况
# 输出文件:
#	remain_${month_id}_no_uploaded.txt	未上传到ftp列表
#	remain_head.txt				未上传到ftp列表-表头
#	remain_${month_id}.txt			未下载或者未下载到本地列表
# *************************************

month_id=$1
if [ -z "$1" ]
then
	month_id=`date -d "-1 month" +%Y%m`
fi
next_month_id=`date -d "${month_id}15 +1 month" +%Y%m`

selfpath=$(cd $(dirname $0); pwd)
cd $selfpath

>ftp_month_ports.list

for filename in `cat ftp_normal_ports.list`
do
  echo $filename "----"
  filename_prefix=${filename%_*}
  filename_head=${filename:0:6} 
  filename_month=${filename:0-9:6}
  filename_prov=${filename:0-3}
  echo $filename_prefix
  echo $filename_head
  echo $filename_month
  echo $filename_prov
  if [ "$filename_prov" = "099" ]; then
      echo $filename_prefix"_"$month_id"099" >> ftp_month_ports.list
  else
 
      for prov_id in 010 011 013 017 018 019 030 031 034 036 038 050 051 059 070 071 074 075 076 079 081 083 084 085 086 087 088 089 090 091 097; do
          if [ "$filename_head" = "C01013" ]; then
             last_day=`cal ${month_id:5} ${month_id:0:4}|xargs|awk '{print $NF}'`
             echo $filename_prefix"_"$month_id$last_day$prov_id >> ftp_month_ports.list
          elif [[ "$filename_head" = "C01125" || "$filename_head" = "C01126" ]]; then
	    echo $filename_prefix"_"$next_month_id$"15"$prov_id >> ftp_month_ports.list
	  else
             echo $filename_prefix"_"$month_id$prov_id >> ftp_month_ports.list
          fi
      done
  fi
done


echo `date +"%F %T"` 连接ftp获取文件列表 start
ftp -niv <<- EOF 
open 192.168.1.18   
user user_name passwd
bin 
cd month
ls C01*${month_id}* ftp_ports_${month_id}.list.a
ls C01*${next_month_id}* ftp_ports_${month_id}.list.b
bye   
EOF

echo `date +"%F %T"` 连接ftp获取文件列表 end

cat ftp_ports_${month_id}.list.a | grep -v C01125 | grep -v C01126 > ftp_ports_${month_id}.list
cat ftp_ports_${month_id}.list.b | grep -e C01125 -e C01126 >> ftp_ports_${month_id}.list

rm -f ftp_ports_${month_id}.list.a ftp_ports_${month_id}.list.b

> file_checkresults_${month_id}.txt

ls -l /mnt/sd03/data/C01*${month_id}*|grep -v MD5 > file_collect_${month_id}.txt
ls -l /mnt/sd02/data/data_month/C01*${month_id}*|grep -v MD5 > file_collect_${month_id}.txt
ls -l /mnt/sd07/data/C01*${month_id}*|grep -v MD5 >> file_collect_${month_id}.txt
ls -l /mnt/sd04/data/C01*${month_id}*|grep -v MD5 >> file_collect_${month_id}.txt
ls -l /mnt/sd05/data/C01*${month_id}*|grep -v MD5 | grep -v C01125 | grep -v C01126 >> file_collect_${month_id}.txt
ls -l /mnt/sd05/data/C01*${next_month_id}*|grep -v MD5 | grep -e C01125 -e C01126 >> file_collect_${month_id}.txt
file=`cat ftp_month_ports.list`

echo `date +"%F %T"` 开始对比大小
for filename in $file
do
	get_date=`grep ${filename} file_collect_${month_id}.txt|awk '{print $6,$7,$8}'`
	file_size=`grep ${filename} file_collect_${month_id}.txt|awk '{print $5}'`
	up_date=`grep ${filename} ftp_ports_${month_id}.list|grep -v MD5|awk '{print $6,$7,$8}'`
	up_size=`grep ${filename} ftp_ports_${month_id}.list|grep -v MD5|awk '{print $5}'`
	if [ ! -n "${up_size}" ]; then  
	  up_size=0
	fi
	if [ ! -n "${file_size}" ]; then
	  file_size=0
	fi
	chaa=$((${up_size} - ${file_size}))
	echo ${filename}"--"${file_size}" ------ "${up_size}" ------- "$chaa
	cha=$[${up_size} - ${file_size}]
	echo ${filename}"|"${file_size}"|"${up_size}"|"${cha} >> file_checkresults_${month_id}.txt
done

cat  ${selfpath}/file_checkresults_${month_id}.txt |awk -F '|' '{if($3==0){print $1"|"$2"|"$3"|"$4} }' > ${selfpath}/remain_${month_id}_no_uploaded.txt
cat  ${selfpath}/file_checkresults_${month_id}.txt |awk -F '|' '{if($3==0){print $1} }' | \
gawk -F "_" '{print $1}' | sort | uniq > ${selfpath}/remain_head.txt
cat  ${selfpath}/file_checkresults_${month_id}.txt |awk -F '|' '{if($3!=0 && $4 > 0){print $1"|"$2"|"$3"|"$4} }' > ${selfpath}/remain_${month_id}.txt

echo `date +%F\ %T` 未下载文件 头 ========================
cat ${selfpath}/remain_${month_id}.txt
echo `date +%F\ %T` 未下载文件 尾 ========================
echo `date +"%F %T"` 结束

#########################################################################################
# 开始下载数据

echo `date +"%F %T"` 开始从ftp下载数据到 /mnt/sd02/data/data_month
stime=`date +%s`

for file in $(cat remain_${month_id}.txt |grep -v "MD5" | grep -v "C0105[2-9]"| gawk -F '|' '/C010[0-1]/{print $1}')
do

        fileName=$(grep ${file} remain_${month_id}.txt|grep -v "MD5"|awk -F '|' '{print $1}')
        fileSize=$(grep ${file} remain_${month_id}.txt|grep -v "MD5"|awk -F '|' '{print $3}')

        echo "`date +%Y-%m-%d\ %H:%M:%S`--采集文件信息："
        echo "`date +%Y-%m-%d\ %H:%M:%S`--文件名：$fileName"
        echo "`date +%Y-%m-%d\ %H:%M:%S`--文件大小：$fileSize"

ftp -niv <<- EOF
open 192.168.1.18
user user_name passwd
lcd /mnt/sd02/data/data/data_month
cd month
passive
bin
mget ${fileName}*   
bye   
EOF

done

echo `date +"%F %T"` 结束从ftp下载数据到 /mnt/sd02/data

echo `date +"%F %T"` 开始从ftp下载数据到 /mnt/sd03/data
stime=`date +%s`

for file in $(cat remain_${month_id}.txt |grep -v "MD5" | grep -v "C0105[2-9]"| gawk -F '|' '/C010[2-5]/{print $1}')
do

        fileName=$(grep ${file} remain_${month_id}.txt|grep -v "MD5"|awk -F '|' '{print $1}')
        fileSize=$(grep ${file} remain_${month_id}.txt|grep -v "MD5"|awk -F '|' '{print $3}')

        echo "`date +%Y-%m-%d\ %H:%M:%S`--采集文件信息："
        echo "`date +%Y-%m-%d\ %H:%M:%S`--文件名：$fileName"
        echo "`date +%Y-%m-%d\ %H:%M:%S`--文件大小：$fileSize"

ftp -niv <<- EOF
open 192.168.1.18
user user_name passwd
lcd /mnt/sd03/data
cd month
passive
bin
mget ${fileName}*   
bye   
EOF

done

echo `date +"%F %T"` 结束从ftp下载数据到 /mnt/sd03/data

echo `date +"%F %T"` 开始从ftp下载数据到 /mnt/sd04/data

for file in $(cat remain_${month_id}.txt |grep -v "MD5" | grep -v "C0105[0-1]"| gawk -F '|' '/C010[5-9]/{print $1}')
do

        fileName=$(grep ${file} remain_${month_id}.txt|grep -v "MD5"|awk -F '|' '{print $1}')
        fileSize=$(grep ${file} remain_${month_id}.txt|grep -v "MD5"|awk -F '|' '{print $3}')

        echo "`date +%Y-%m-%d\ %H:%M:%S`--采集文件信息："
        echo "`date +%Y-%m-%d\ %H:%M:%S`--文件名：$fileName"
        echo "`date +%Y-%m-%d\ %H:%M:%S`--文件大小：$fileSize"

ftp -niv <<- EOF
open 192.168.1.18
user user_name passwd
lcd /mnt/sd04/data
cd month
passive
bin
mget ${fileName}*   
bye   
EOF

done

echo `date +"%F %T"` 结束从ftp下载数据到 /mnt/sd04/data

echo `date +"%F %T"` 开始从ftp下载数据到 /mnt/sd05/data

for file in $(cat remain_${month_id}.txt | gawk -F '|' '/C011[0-2]/{print $1}')
do
        fileName=$(grep ${file} remain_${month_id}.txt | awk -F '|' '{print $1}')
        fileSize=$(grep ${file} remain_${month_id}.txt | awk -F '|' '{print $3}')

        echo "`date +%Y-%m-%d\ %H:%M:%S`--采集文件信息："
        echo "`date +%Y-%m-%d\ %H:%M:%S`--文件名：$fileName"
        echo "`date +%Y-%m-%d\ %H:%M:%S`--文件大小：$fileSize"

ftp -niv <<- EOF
open 192.168.1.18
user user_name passwd
lcd /mnt/sd05/data
cd month
passive
bin
mget ${fileName}*
bye
EOF

done

etime=`date +%s`
s=`echo "scale=0; ($etime - $stime)%60" | bc`
m=`echo "scale=0; ($etime - $stime)/60%60" | bc`
h=`echo "scale=0; ($etime - $stime)/60/60" | bc`

echo `date +"%F %T"` 结束从ftp下载数据到 /mnt/sd05/data
echo `date +"%F %T"` end 耗时 $h 小时 $m 分钟 $s 秒

 

AA赵师傅
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
shell脚本通过ftp获取文件
周国良的博客
09-27 5044
shell脚本通过ftp获取文件 #!/usr/bin/bash #T-1日期 day=`date -d "1 days ago" +"%Y%m%d"` #文件名 fileName="file"${day:2:8} #注：$(day:2:8),截取字符串 #返回文件 backFile="back" #想将ftp文件下载到那个目录，就进入那个目录 cd /home/java/file/ ...
ftp服务器文件名编码格式,ftp服务器文件名编码
weixin_36161279的博客
08-09 1166
ftp服务器文件名编码 内容精选换一换该任务指导用户使用Loader将数据从FTP服务器导入到HBase。创建或获取该任务中创建Loader作业的业务用户和密码。获取FTP服务器使用的用户和密码，且该用户具备FTP服务器上源文件的读取权限。若源文件在导入后文件名要增加后缀，则该用户还需具备源文件的写入权限。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。使用LoLoader是在开源S...
linux下采用shell编程和ftp实现文件采集功能
12-26
linux下采用shell编程和ftp实现文件采集功能
windows服务器和linux服务器ftp取数shell脚本
u012209894的专栏
06-01 4995
windows ftp 循环获取文件夹的.bat脚本  linux ftp循环获取文件夹的shell linux（ip假如为11.11.0.1）从linux（ip假如为11.11.0.2）那么需要在11.11.0.2上装vsftp也就是ftp服务端，在11.11.0.1装ftp客户端， 下载地址http://download.csdn.net/detail/u012209894/9537732
ftp获取文件列表的脚本
The power of C, the secret of MD
09-14 1390
<br />GGSNID=ggsn04 SERVER=192.168.1.1 userid=user passwd=password WPATH=/var/log/ggsn ftp -n $SERVER << _END >> $GGSNID.log quote USER $userid quote PASS $passwd bin cd $WPATH ls quit _END
shell--ftp获取
PeterHuaWei3的专栏
03-07 1253
#!/bin/sh rm -rf wmmpt.so ftp -ivn  10.137.73.39 user otszhp otszhp lcd /home/otszhp cd /home/otszhp/OTS/bin bin get  wmmpt.so bye EOF oinit -n wmmpt cp wmmpt/main.cfg ../runtime/wmmpt/con
python语言实例-Python代码样例列表
weixin_37988176的博客
11-01 3672
├─algorithm│ Python用户推荐系统曼哈顿算法实现.py│ NFA引擎,Python正则测试工具应用示例.py│ Python datetime计时程序的实现方法.py│ python du熊学斐波那契实现.py│ python lambda实现求素数的简短代码.py│ Python localtime()方法计算今天是一...
python代码示例-Python代码样例列表
q6q6q的专栏
10-28 4095
├─algorithm│ Python用户推荐系统曼哈顿算法实现.py│ NFA引擎,Python正则测试工具应用示例.py│ Python datetime计时程序的实现方法.py│ python du熊学斐波那契实现.py│ python lambda实现求素数的简短代码.py│ Python localtime()方法计算今天是一...
python代码案例详解-Python代码样例列表
weixin_37988176的博客
11-01 4669
扫描左上角二维码，关注公众账号 数字货币量化投资，回复“Python例子”，获取以下600个Python经典例子源码├─algorithm│ Python用户推荐系统曼哈顿算法实现.py│ NFA引擎,Python正则测试工具应用示例.py│ Python datetime计时程序的实现方法.py│ python du熊学斐波那契实现.py│ p...
走向云计算之Hadoop实际应用网站日志分析
想作会飞的鱼的博客
06-20 3529
一、概述网站日志分析是Hadoop应用的一个方向。那么什么是网站日志呢? 网站日志是记录web服务器接收处理请求以及运行时错误等各种原始信息的以.log结尾文件。通过网站日志可以清楚的得知用户在什么IP、什么时间、用什么操作系统、什么浏览器、什么分辨率显示器的情况下访问了你网站的哪个页面，是否访问成功。对于SEO优化人员来说，日志就是我们网站优化的指南针，就是我们优化的晴雨表，能够通过分析日志能
命令行下获取远程FTP目录文件
07-31
前提：已获知FTP的相关登录信息 介绍：该脚本是为解决相关工程定时同步获取ftp相关文件而编写的；简单高效，并且可行。需要下载资源的同学自行修改相关IP、用户名/密码、指定文件名以及相关路径 使用方法： (1)运行FtpCommand.bat (2)再运行GetFtpCMBKEY.bat
使用shell脚本下载sftp文件
Jepson的博客
05-23 8579
功能：shell脚本实现sftp自动登录并下载文件 系统环境：centos7 使用到的工具：lftp （安装方式 yum -y install lftp） lftp：lftp 是一个功能强大的下载工具，它支持访问文件的协议: ftp, ftps, http, https, hftp, fish.(其中ftps和https需要在编译的时候包含openssl库)。llftp的界面非常想一个shell: 有命令补全，历史记录，允许多个后台任务执行等功能，使用起来非常方便。它还有书签、排队、镜像、断点续传、多进程下
[shell]用shell脚本将本地文件夹与ftp上的文件夹同步
隐之狐的专栏
12-13 3237
需求说明 最近在AIX上做开发，开发机器在office网段，测试机器在lab网段，不能互相通讯，只能通过特定的ftp来传文件。 每次上传的机器都要做：登录ftp，进入我的目录，上传；下载的机器都要做：登录ftp，进入我的目录，下载。以上动作每天都要做几十次，很蛋疼。 这个shell脚本的功能就是完成这些功能：登录ftp，进入我的目录，上传/下载某些文件。要传入一个参数，这个参数如
linux脚本sftp获取文件,shell脚本进行sftp文件批量上传与下载
weixin_42118701的博客
05-03 2449
使用linux 的shell脚本进行sftp文件上传与下载批量上传：#!/bin/bash#SFTP配置信息#用户名USER=root#密码PASSWORD=5EYS40T04BMF#待上传文件根目录SRCDIR=/u02/dab/sftpFiles#FTP目录DESDIR=/u01/sftpFiles#IPIP=192.168.10.11#端口PORT=22022#获取文件cd ${SRCDIR...
shell实例——获取FTP/SFTP远程文件
weixin_33973600的博客
01-01 3008
使用Unix/Linux系列操作系统就离不开shell，shell本质是和GUI一样作为用户和操作系统之间的接口而存在，它实际上是一个能够解释和分析用户键盘输入，执行输入的命令，然后返回结果的解释程序。由于占用资源少，而且具有批处理功能，实际开发和维护当中掌握必要的shell技能，势必会大大提升工作效率。 以下记录了一个shell脚本实...
【Shell】linux从SFTP批量下载指定前后缀文件
初代二手码农
05-16 751
linux从sftp批量下载指定前后缀的文件
读取ftp的文件列表
youcijibi的博客
09-10 802
public function getFtp() { $conn_id = ftp_connect('192.168.1.1'); $login_result = ftp_login($conn_id, 'xxxx', 'xxxx123'); if (!$login_result) { exit('login error'); } ftp_pasv($conn_id, true); //...
只用二行代码就可得到ftp、sftp文件列表的powershell模块
fdc2017的博客
01-12 1346
首先要安装模块 install-module transferetto 最低支持powershell5.1 先连接ftp看看。 $client=Connect-FTP -Server 'serverAddress' -Username 'userName' -Password 'password' -Port 8888 填上自己的地址和用户名，密码，端口就可以连上，端口是21，可以不填。 Disconnect-FTP -Client $client 连接sftp也很简单 $clien.
shell 获取 ftp服务最新文件的文件
u014298282的博客
07-22 1993
#!/bin/bash # 连上ftp 服务器, 相关的文件列表下载到本地 fileList.txt ftp -v -n 192.168.20.8<<EOF user 用户名 密码 dir /指定目录/*部分文件名* fileList.txt bye EOF # awk '{print $9}' 用法 # 例如 : -rw------- 1 1002 50 28519125 Jul 22 07:06 package-20210722-1506.tar.gz
linux shell脚本while循环应用样例
最新发布
07-23
在Linux Shell脚本中，`while`循环常用于当满足特定条件时反复执行一段代码，直到条件不再满足为止。以下是一个基本的`while`循环样例，它会打印数字从1到5： ```sh #!/bin/bash count=1 # 使用 while 循环，只要 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值