Linux使用Shell脚本实现FTP自动下载文件，并记录下载文件日志

最新推荐文章于 2023-05-16 11:02:00 发布
最新推荐文章于 2023-05-16 11:02:00 发布
阅读量1.8k 收藏 7
点赞数
文章标签： shell 操作系统 开发工具
原文链接：https://my.oschina.net/u/3509224/blog/3084092
版权

Linux使用Shell脚本实现FTP自动下载文件，并记录下载文件日志

最近初学shell编程，记一下自己写的第一个脚本。有问题可以找我一起讨论，交流下。

  • Email: 27889358@qq.com

首先这个shell脚本，必须使用命令行vim编辑器创建这个shell脚本，不然ftp连接那里会出现错误。

 

[root@localhost /]# vim file_from_ftp.sh


#!/bin/bash


usage(){
	echo "############################################################################################################"
    echo -e "         Usage: $0 [OPTIONS]"
	echo -e "         xxxx-xx-xx：	文件后加入日期参数 xxxx-xx-xx，例如：2019-08-01会下载当天的FTP文件。 ."
	echo -e "         all：  			文件后加入*号，会下在所有的FTP文件。默认会覆盖所有文件"
	echo "############################################################################################################"
	exit 1
}

HOST=192.168.0.10  #远程FTP服务器地址
PORT=21
USER=xxx      #远程FTP服务器用户名
PASSWD=xxx123  	#远程FTP服务器密码

REMOTE_DIR=/  				#远程FTP服务器目录
LOCAL_DIR=/soft/test1		#对应的本地服务器目录
LOCAL_DIR_LOG=$LOCAL_DIR/logs		#对应的本地服务器目录

#获取前一天的时间
date1=`date -d last-day +%Y%m%d`
date2=`date -d last-day +%Y-%m-%d`

#date1=`date +%Y%m%d --date="-7 day"`
#date2=`date +%Y-%m-%d --date="-7 day"`


shlog(){
    local line_no msg
    line_no=$1
    msg=$2
    echo "[file_from_ftp.sh][$line_no]["`date "+%Y-%m-%d %H:%M:%S"`"] $msg ">> ${LOCAL_DIR_LOG}/file_from_ftp${date2}.log
}

shlogAllFile(){
    local line_no msg
    line_no=$1
    msg=$2
    echo "[file_all_from_ftp.sh][$line_no]["`date "+%Y-%m-%d %H:%M:%S"`"] $msg ">> ${LOCAL_DIR_LOG}/file_all_from_ftp${date2}.log
}

##下载所有全部文件校验##
function checkFilePros()
{
	echo "%%%%%%%%%%%%%%下载所有全部文件##############%$%%%%%%%%%%%"
	shlogAllFile $LINENO "%%%%%%%%%%%%%%%%%FTP服务器下载所有全部文件%%%%%%%%%%%%%%%%%%%%%%%%"
	let "fileNumFromFtp = 0"
	let "fileNumFromFtpError = 0"

	for file in $LOCAL_DIR/$1
	do
		if test -f $file
		then

			fileName=${file##*/}

			FTPSIZE=`cat $LOCAL_DIR_LOG/tmp_all_from_ftp${date2}.log |sed -n '/'${fileName}'/p' |awk '{print $5}'`
			LOCALSIZE=`ls -l $LOCAL_DIR/${fileName} |awk '{print $5}'`

			echo "%%%%%%%%%%%%%%% ${file##*/} FTPSIZE:==== $FTPSIZE LOCALSIZE:==== $LOCALSIZE"

			if [ "$FTPSIZE" != "" ] && [ "$FTPSIZE" == "$LOCALSIZE" ]; then
				let "fileNumFromFtp+=1"
				shlogAllFile $LINENO "FTP服务器 ${fileName}文件下载到本地 ${file}成功"
			else
				let "fileNumFromFtpError+=1"
				shlogAllFile $LINENO "FTP服务器 ${fileName}文件下载到本地 ${file}失败"
			fi
		fi
	done

	echo "FTP下载的文件成功success个数： $fileNumFromFtp 个数"
	echo "FTP下载的文件失败error个数： $fileNumFromFtpError 个数"
	shlogAllFile $LINENO "FTP下载的文件成功success个数： $fileNumFromFtp 个数"
	shlogAllFile $LINENO "FTP下载的文件失败error个数： $fileNumFromFtpError 个数"

	rm -rf ${LOCAL_DIR_LOG}/tmp_all_from_ftp${date2}.log

}

##下载某一天的文件校验##
function checkFilePros1()
{
	let "fileNumFromFtp = 0"
	let "fileNumFromFtpError = 0"

	for file in $LOCAL_DIR/$1
	do
		if test -f $file
		then
			#echo "%%%%%%%%%%%%%%% ${file##*/}"

			fileName=${file##*/}

			FTPSIZE=`cat $LOCAL_DIR_LOG/tmp_from_ftp${date1}.log |sed -n '/'${fileName}'/p' |awk '{print $5}'`
			LOCALSIZE=`ls -l $LOCAL_DIR/${fileName} |awk '{print $5}'`

			echo "%%%%%%%%%%%%%%% ${fileName} FTPSIZE:==== $FTPSIZE LOCALSIZE:==== $LOCALSIZE"

			if [ "$FTPSIZE" != "" ] && [ "$FTPSIZE" == "$LOCALSIZE" ]; then
				let "fileNumFromFtp+=1"
				shlog $LINENO "FTP服务器 ${fileName}文件下载到本地 ${file}成功"
			else
				let "fileNumFromFtpError+=1"
				shlog $LINENO "FTP服务器 ${fileName}文件下载到本地 ${file}失败"
			fi
		fi
	done

	for file in $LOCAL_DIR/$2
	do
		if test -f $file
		then
			#echo "%%%%%%%*_$date2.csv%%%%%%%% ${file##*/}"

			fileName=${file##*/}

			FTPSIZE=`cat $LOCAL_DIR_LOG/tmp_from_ftp${date2}.log |sed -n '/'${fileName}'/p' |awk '{print $5}'`
			LOCALSIZE=`ls -l $LOCAL_DIR/${fileName} |awk '{print $5}'`

			echo "%%%%%%%%%%%%%%% ${fileName} FTPSIZE:==== $FTPSIZE LOCALSIZE:==== $LOCALSIZE"

			if [ "$FTPSIZE" != "" ] && [ "$FTPSIZE" == "$LOCALSIZE" ]; then
				let "fileNumFromFtp+=1"
				shlog $LINENO "服务器 ${fileName}文件下载到本地 ${file}成功"
			else
				let "fileNumFromFtpError+=1"
				shlog $LINENO "FTP服务器 ${fileName}文件下载到本地 ${file}失败"

			fi

		fi
	done

	echo "FTP下载的文件成功success个数： $fileNumFromFtp 个数"
	echo "FTP下载的文件失败error个数： $fileNumFromFtpError 个数"
	shlog $LINENO "FTP下载的文件成功success个数： $fileNumFromFtp 个数"
	shlog $LINENO "FTP下载的文件失败error个数： $fileNumFromFtpError 个数"


	rm -rf ${LOCAL_DIR_LOG}/tmp_from_ftp${date1}.log
	rm -rf ${LOCAL_DIR_LOG}/tmp_from_ftp${date2}.log
}

function downloadFtpFile()
{
echo "下载FTP存放的本地路径: $LOCAL_DIR"
echo "ftp mutl file start ......"
ftp -v -n $HOST<<EOF
user $USER $PASSWD
binary
cd $REMOTE_DIR
lcd $LOCAL_DIR
prompt
mget $1
ls $REMOTE_DIR$1 ${LOCAL_DIR_LOG}/tmp_all_from_ftp${date2}.log
bye
EOF

checkFilePros $1

#打印环境变量信息
echo "download successfully from ftp all file ending......"
}

function downloadFtpFile1()
{
echo "下载FTP存放的本地路径: $LOCAL_DIR"
echo "ftp mutl file start ......$1 "
echo "ftp mutl file start ......$2 "
matchStr1=$1
matchStr2=$2

ftp -v -n $HOST<<EOF
user $USER $PASSWD
binary
cd $REMOTE_DIR
lcd $LOCAL_DIR
prompt
mget $matchStr1
mget $matchStr2
ls $REMOTE_DIR$1 ${LOCAL_DIR_LOG}/tmp_from_ftp${date1}.log
ls $REMOTE_DIR$2 ${LOCAL_DIR_LOG}/tmp_from_ftp${date2}.log
bye
EOF

checkFilePros1 ${matchStr1} ${matchStr2}

#打印环境变量信息
echo "download successfully from ftp all file ending......"
}

function createFileDir() {
    shlog $LINENO "******************检查待接收下载文件根目录是否存在,不存在则创建该目录************************"
    if [ ! -d ${LOCAL_DIR_LOG} ]; then
        mkdir -p ${LOCAL_DIR_LOG}
    fi
}



echo "Input Param Is [$1]"
if [ ! -n "$1" ] ;then

    shlog $LINENO ""
    shlog $LINENO "*****************************${date2}数据文件下载开始****************************************"

    createFileDir

	echo "###########################################"
	echo " *_${date1}.csv *_${date2}.csv"
	echo "###########################################"

	param1=*_${date1}.csv
	param2=*_${date2}.csv

    downloadFtpFile1 ${param1} ${param2}

	shlog $LINENO "*****************************${date2}数据文件下载结束****************************************"

elif [ -n "$1" ];then
	#echo "这里是指定输入的日期，例如选择要下载一天的文件"

	if echo $1 | grep -Eq "[0-9]{4}-[0-9]{2}-[0-9]{2}" && date -d $1 +%Y%m%d > /dev/null 2>&1
	then
		echo "输入的日期格式正确: $1";
		param1=$1
		echo "######param1#param1###### $param1"
		param2=${param1//-/}
		echo "######param2#param2###### $param2"
		echo "*_${param2}.csv *_${param1}.csv"
        
        shlog $LINENO ""
        shlog $LINENO "*****************************${param1}数据文件下载开始****************************************"
        createFileDir

		downloadFtpFile1 *_${param2}.csv *_${param1}.csv

		shlog $LINENO "*****************************${param1}数据文件下载结束****************************************"

	elif [ $1 == 'all' ];then
		echo "all 下载所有全部文件##############%$%%%%%%........................."
		downloadFtpFile *.csv
   	else
		usage
	fi

else
	echo "这里没有用，永远不会进来的"
fi

exit 0

 

转载于:https://my.oschina.net/u/3509224/blog/3084092

chenyuan3226
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Linux下用shell脚本实现sftp文件下载
weixin_42952472的博客
03-09 3704
亲测可用 代码如下： #!/bin/bash USER=jijian #密码 PASSWORD=jj #下载文件目录 SRCDIR=/home/databackup #FTP目录(待下载文件目录) DESDIR=/home/jijian #IP IP=10.2.5.142 #端口 PORT=22 #需要下载的文件为fileName fileName="1.txt" lftp -u ${USER},${PASSWORD} sftp://${IP}:${PORT}<<EOF cd ${DESDIR
linux脚本下载sftp文件,shell 脚本sftp 文件下载
weixin_29484843的博客
05-03 972
#!/bin/bashsftp_Host="192.168.1.1"sftp_userName="admin"sftp_passWord="admin"sftp_port=22sftpRemotePath="/data/fiels"sftpLocalPath="/root/sftp"current=$(date "+%Y-%m-%d %H:%M:%S")echo "当前时间是：$current"i...
Linux Shell脚本编程
12-05
实验任务一：编写一个Shell过程完成如下功能（必须在脚本中使用函数）：1、程序接受3个参数：$1、$2和$3,合并两个$1、$2文件为$3，并显示，三个文件均为文本文件。2、如果缺少$3，那么先报告缺少$3，然后将合并后的内容输出到mydoc.txt。如果有$3，就合并到$3。3、如果缺少$2、$3，那么先报告缺少$2、$3，只显示$1的内容。4、如果文件$1不存在，则提示缺少$1，要求重新运行程序。实验任务二：利用所学知识，实现如下目标：<br>某用户需要在每天晚上11点启动服务器的ftp服务，使得其他用户可以上传重要数据。而在每天凌晨3点就关闭ftp服务。在这个过程中要自动记录日志信息，每天是否成功启动ftp要体现在日志信息中，如果成功启动必须记录ftp的进程信息，如果没有启动，就记录错误信息。约定如下：日志文件为/tmp/ftplog。实验任务三：编写一个脚本，显示当天日期，查找给定的某用户是否在系统中工作。如果在系统中，就发一个问候给他。
Shell实现FTP下载文件，并保存执行日志
旷野历程
11-23 1453
分享知识 传递快乐 这篇文章是Linux实现FTP上传下载的续篇文章，关于FTP具体语法使用，请参考《Linux实现FTP上传下载》。 FTP下载文件并保存执行日志 #!/bin/bash #auth hy ################################################ # # 定义函数 # #########################...
Linux下shell脚本ftp下载文件
qq_30599553的博客
01-16 2448
331 Please specify the password. 530 Login incorrect. Login failed. 530 Please login with USER and PASS. #注意密码有特殊字符一定要转义 加\ #!/bin/bash #连接ftp服务器信息 IP=XXXX PORT=XXXX username=XXXX #注意密码有特殊字符一定要转义 加...
linux下编写脚本从ftp服务器定时下载文件
eternal_tc的博客
11-04 2306
linux下编写一个脚本，定时从ftp服务器下载前一天的文件，进行备份到linux。 我的ftp服务器是一个windows系统，使用脚本时，先测试里面的命令是否已经能够正常运行。 一、写脚本 1、linux服务器 /home/test1/ 下建一个download.sh cd /home/test1 touch download.sh 2、脚本写入： vi download.sh #下载前一天生...
使用Linux shell脚本实现FTP定时执行批量下载指定文件
09-15
通过以上步骤，我们就成功地创建了一个shell脚本，实现了FTP定时批量下载指定文件的功能。确保脚本具有执行权限（`chmod +x get_xn_data.sh`），然后通过cron任务定期运行，就可以自动从FTP服务器获取并保存所需文件...
shell脚本实现ftp上传下载文件功能
09-14
在这个场景中，shell脚本被用来实现在不同主机间传输文件，并通过FTP（File Transfer Protocol）上传下载文件。下面我们将详细探讨如何使用shell脚本来实现这一功能。 首先，为了在不同主机之间进行文件传输，我们...
linux下实现ftp自动备份shell脚本
09-15
总结来说，Linux下的FTP自动备份shell脚本利用了FTP命令的非交互模式和Here文档来实现自动化传输。通过定义变量和编写逻辑，脚本能够从远程服务器下载文件，打包备份，然后删除本地的原始文件，从而确保备份过程的...
linux下采用shell编程和ftp实现文件采集功能
12-26
- 在shell脚本中，使用上述FTP命令，并结合错误处理和日志记录，确保脚本的健壮性。 - 脚本可能包括检查网络状态、验证FTP连接、选择要下载的文件、处理文件重命名或备份等逻辑。 7. **安全考虑**： - FTP明文...
window\linux下通过脚本ftp上传和下载
07-01
通过bat脚本，shell脚本分别实现了windows、linux下ftp文件上传和下载，代码测试可用之后上传，附带脚本的说明
sftp一键安装脚本
05-18
sftp一键安装脚本，便于快速安装sftp服务，内含详细说明。
linux下自动备份MySQL数据并上传到FTP上的shell脚本
09-10
总结起来，这个shell脚本提供了一种有效且可自定义的方法来实现Linux系统下MySQL数据库的自动备份及FTP上传，对于系统管理员来说是一个实用的工具。在维护数据安全性的同时，也简化了日常的管理任务。
Linux下使用 shell 脚本实现ftp文件下载
weixin_42952472的博客
03-08 2768
最近从单片机转岗Linux,上级叫我熟悉下shell脚本，用shell脚本获取ftp上的文件，本节先介绍下载文件。单个下载文件脚本实现如下： 运行环境：WSL ####### ftp服务器上下载/home/data a.c to local /home/databackup### #!/bin/bash ftp -n<<! open 10.2.5.172 user test test binary cd /home/data lcd /home/databackup prompt get a.c
FTP自动上传文件和自动下载文件脚本
chuilianjiu9451的博客
06-27 944
一、自动从ftp服务器下载当天指定文件脚本： #!/bin/bash ftp -nv 1.2.3.4 <<!FTPRUN user bossftp 123456 prompt bin cd abc lcd /data/abc/ get Afile$(dat...
FTP同步日志数据脚本
不二先生的笔记
10-22 411
准备： 1.日志源目录：172.16.1.103:/usr/logdata/url/ 2.日志目标目录：172.16.1.102:/home/zion/url/ 3.102机器上文件服务器服务端已经安装(教程) 4.103机器上文件服务器客户端已安装 要求： 以下三条缺一不可！！ 1.在ftp服务端所在机器(102)上，服务器开启SELinux #1 查看SELinux状态，enabled即为开启状态 [root@fan102 ~]# getenforce #2 关闭SELinux #2
shell 执行ftp的动作和日志合并
weixin_34413357的博客
11-30 426
一、ftp根据日期下载当前的文件#!/bin/bash date=`date+%Y%m%d` ftp-n<<! open192.168.10.14 userzzxZ@123456 binary lcd/opt/zzx prompt mgetbj.log-$date.txt close bye二、根据日志上传当前的文件#!/bin/bash dat...
linux上使用ftp下载文件,linux上使用FTP下载文件
weixin_35374026的博客
05-05 823
#!/bin/bash[emailprotected]:ping[emailprotected]:[emailprotected]支付系统的前置服务器# 对账文件全部下载完成后会生成一个.ok文件[emailprotected]：1、定时任务实现 2、脚本+日期(形如 ./ftpDownload.sh 20180820)[emailprotected] direct...
【Shell】linux从SFTP批量下载
初代二手码农
05-16 1460
linux从sftp批量下载指定的文件
linux ftp 批量取删文件shell 防止文件丢失
最新发布
05-28
为了避免在下载和删除文件时出现问题而导致文件丢失，您可以在脚本中添加一些错误处理和日志记录的代码。以下是一个示例脚本： ```bash #!/bin/bash HOST='ftp.example.com' USER='your_username' PASSWD='your_password' REMOTE_DIR='/path/to/remote/directory' LOCAL_DIR='/path/to/local/directory' LOG_FILE='/path/to/log/file' ftp -n $HOST <<END_SCRIPT quote USER $USER quote PASS $PASSWD cd $REMOTE_DIR lcd $LOCAL_DIR mget * mdelete * quit END_SCRIPT if [ $? -eq 0 ]; then echo "$(date +'%Y-%m-%d %H:%M:%S') - FTP download and delete completed successfully" >> $LOG_FILE else echo "$(date +'%Y-%m-%d %H:%M:%S') - FTP download and delete failed" >> $LOG_FILE fi exit 0 ``` 请将 `ftp.example.com` 替换为您的 FTP 服务器地址， `your_username` 替换为您的 FTP 用户名， `your_password` 替换为您的 FTP 密码， `/path/to/remote/directory` 替换为您要下载的远程目录路径， `/path/to/local/directory` 替换为您要下载到的本地目录路径，`/path/to/log/file` 替换为您要记录日志的文件路径。 在脚本中，我们使用了 `$?` 变量来获取上一个命令的退出状态。如果退出状态为 0，则说明下载和删除操作都成功完成了，并将成功的信息记录到日志文件中；否则，将失败的信息记录到日志文件中。这样，即使出现错误，也可以在日志文件中查看到相关信息，从而更容易地进行排查和修复。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值