shell脚本定时Sftp传输大文件 一定要设置延时，不然会中断！！！

于 2024-02-04 12:40:07 发布
阅读量707 收藏 11
点赞数 9
文章标签： 服务器 运维 SHELL SFTP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012972294/article/details/136023920
版权

前面做过sftp 每日定时传输文件的项目，通过expect 工具和sftp 命令搭配完成，这次遇到的同样的需求，但是！  试过几次都失败了，

同样的处理逻辑，同样的工具代码，能执行，但就是传一两百MB就失败了，不报错，不提示，百思不得其解。

纠结了两天之后，终于发现了问题，当你传输大文件的时候，一定要加延时，set timeout 10000，

就这样，问题解决

紫薯馍馍
关注
  • 9
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
sftp设置超时时间_稳定性三十六计超时处理
weixin_39523835的博客
12-16 4999
引子分布式系统调用的三态在传统的单机系统中，调用一个函数，要么返回成功，要么返回失败。这就是两态系统(2-state system)。在分布式系统中，由于系统是分布在不同机器上的。还可能有一种状态叫：超时。成功、失败和超时是分布式系统调用的三态。为什么要超时处理对于超时这种状态，长时间等待会影响用户体验，并发量大时还可能会因为线程池耗尽而不能响应其他请求。如果这个服务的调用方也是一个服务...
Shell脚本延时命令
最新发布
0.0雨的博客
05-08 1694
区别： sleep 不但可以用秒为单位，还可以指定其他延迟的单位 比如 小时 分钟 天。
FTP上传大文件时连接重置或者中断，重新连接上传也出现同样情况处理办法
wwwwestcn的博客
03-17 6034
上传大文件的时候经常连接被重置或者中断，重新连接上传出现同样错误，具体错误如下图所示： 原因：机房防火墙设置了tcp空闲5分钟中断，如果使用被动模式上传较大的文件，上传速度比较慢时容易造成超时，所以连接会被中断重置。 解决办法：将ftp软件设置为主动模式（port模式）进行连接上传即可。 以下是几款常用FTP设置方式： 1、LeapFTP 2、FlashFXP 3、FileZila 4、CuteFTP ...
SFTP使用
weixin_70127381的博客
04-04 1938
cd 路径 --切换远程目录到“路径”get 远程路径 --下载文件。--断开sftp链接。put 本地路径 --上传文件。--设置超时时间（单位是：s；-1 表示永不超时）--expect执行结束 退出。--退出expect脚本。
通过shell脚本使用sftp账号定时传输文件
Drink_hot_water的博客
12-18 2055
【代码】通过shell脚本使用sftp账号定时传输文件。
shell脚本实现ftp上传下载文件功能
09-14
在这个场景中，shell脚本被用来实现在不同主机间传输文件，并通过FTP（File Transfer Protocol）上传下载文件。下面我们将详细探讨如何使用shell脚本来实现这一功能。 首先，为了在不同主机之间进行文件传输，我们...
shell脚本基于sftp自动拉取远程备份文件，用于异地灾备
04-13
脚本主要是通过sftp远程登录并拉取需要灾备的文件，配合Linux操作系统的定时任务即可实现自定义远程文件拉取功能。 脚本有个缺点是第一次执行脚本时，需手动输入一次服务器密码，仅输入一次即可，后续即可自动下载...
Shell脚本创建SFTP和FTP账户
12-25
Shell脚本，尤其是对于Linux运维人员，是日常工作中不可或缺的工具，能够帮助执行批量任务，如创建用户账户、配置权限以及设置服务。以下我们将详细探讨这个主题。 首先，`FtpManageAcc.sh`可能是用于创建和管理FTP...
linux脚本sftp上传文件
09-22
linux脚本sftp上传文件
Java使用sftp定时下载文件的示例代码
08-27
Java 使用 SFTP 定时下载文件的示例代码 SFTP（Secure File Transfer Protocol，安全文件传输协议）是一种基于 SSH 的安全文件传输协议。它可以为传输文件提供一种安全的网络加密方法。SFTP 与 FTP 有着几乎一样的...
centos sftp传输大文件中断_使用Rest API传输大文件
weixin_35500917的博客
11-29 790
如何避免内存不足介绍这周，我和我的团队遇到了我在大学时第一次读到的一个问题。 自十月的星期三以来，我完全忘记了它：通过HTTP传输非常大的文件。需求与设计我们的客户将其CRM替换为一个云CRM，然后我们将其与整个软件地图集成在一起。一个集成流程将文档从本地存储发布到CRM，并将其与存储的客户账户关联； 文件大小没有上限，我们假设1 GB为中值。所有CRM集成均基于REST，不允许共享文件夹，暂存数...
sftp连接关闭不了解决
热门推荐
学无止境
03-16 1万+
同事的一个问题，帮忙解决的，网上看了一下，一模一样的问题 嘿嘿 记录一下 项目中需要用Sftp上传下载文件，通过jsch中的sftp实现。代码上了服务器之后，发觉服务器多了很多进程没有被关闭。 连接sftp代码： protected boolean connectToServer() { try { JSch jsch = new JSch(); jsch.getSession(userName...
ftp 脚本 超时设置
lonelyrains的专栏
07-26 1万+
今天刚学了一点shell脚本的编程知识，写了一个ftp脚本，如果没有设置目录则设置目录，并上传文件到服务器该二级目录。如下：#!/bin/sh cp $1 $2 ftp -n $3 <<EOF quote USER $4 quote PASS $5 mkdir $6 cd $6 mkdir $7 cd $7 binary put $2 $1 quit EOF 其中$1、$2、$3、$4、$5、$
Linux定时任务
bugpz的博客
03-30 482
前言 测试有时写的脚本需要每天运行，一些技术稍微好点的同学可能会通过Jenkins、k8s或者xxjob这类的东西去定时任务，但是对于技能比较弱的同学可能用这些东西比较费劲，所以大概介绍下Linux的定时任务操作流程吧，我这里尽量写的详细一些，此处以python脚本为例 准备工作 1、一台Linux服务器（虚拟机也行） 2、测试脚本 3、运行环境 python安装过程就不讲了 现版本的Linux基本自带python3了 第一步 上传脚本到服务器 最简单的方式sftp命令上传 （文件太大不建议 此方法
Shell开发脚本 通过SFTP 定时 上传文件
m0_67401851的博客
03-15 3559
【背景】 与三方公司对接，有数据传输需求，数据传到对方的服务器，对方提供的传输方式是SFTP 【思路】 数据来自于ORACLE，项目先提供在服务器上使用sqluldr2来操作【数据导出】工作，之前的博客有提到大批量数据【导入】工具sqluldr，注意不要弄混了，然后把数据存到指定的文件下，接着通过crontab 任务定时调用传输工具脚本就行了，之前未接触过SFTP，这次遇到一些坑，网上查了许多文章没有我需要的，简单记录一下： 1.FTP传输示例 先放之前FTP上传下载文件的做法，连接到指定IP和端口 把用户
内网大文件传输断点续传源码
weixin_45525177的博客
11-13 846
需求： 支持大文件批量上传（20G）和下载，同时需要保证上传期间用户电脑不出现卡死等体验； 内网百兆网络上传速度为12MB/S 服务器内存占用低 支持文件夹上传，文件夹中的文件数量达到1万个以上，且包含层级结构。 支持PC端全平台操作系统，Windows,Linux,Mac 支持文件和文件夹的批量下载，断点续传。刷新页面后继续传输。关闭浏览器后保留进度信息。 支持文件夹批量上传下载，...
FtpClient要设置setSotimeOut！
lenozhi
05-13 1915
如果，如果不设置，可能在执行completePendingComannd时阻塞，至此无限时阻塞在此。建议连接成功后调用setSotimeout方法，此方法设置一个命令执行后最大等待Server反馈的时间。...
shell 脚本 sftp文件传输
07-27
回答: 以下是一个示例的shell脚本，用于实现sftp文件传输: ```bash #!/bin/bash #sftp服务器地址 host="192.168.149.128" #端口 port=22 sftp_user="sftp" #密码 password="123456" #下载到本地的目录 localDir="/tmp" \[ ! -d $localDir \] && mkdir -p $localDir #sftp中待下载文件目录 remoteDir="/" #要下载的文件为fileName fileName="data.log" lftp -u ${sftp_user},${password} sftp://${host}:${port}<<EOF cd ${remoteDir} lcd ${localDir} get $fileName by EOF ``` 这个脚本使用lftp命令来实现sftp文件传输。首先，设置sftp服务器的地址、端口、用户名和密码。然后，指定要下载的文件的路径和本地目录。最后，使用lftp命令连接到sftp服务器，并执行cd命令切换到远程目录，lcd命令切换到本地目录，get命令下载指定的文件。\[1\] 如果你想实现文件上传，可以使用以下示例脚本: ```bash #!/bin/bash #SFTP配置信息 #用户名 USER=jijian #密码 PASSWORD=jj #待上传文件根目录 SRCDIR=/home/databackup #SFTP目录 DESDIR=/home/jijian #IP IP=10.2.5.142 #端口 PORT=22 #获取文件 cd ${SRCDIR} #目录下的所有文件 #FILES=`ls` #查找后缀为txt的文件 FILES=`find ${SRCDIR} -name '*.txt'` for FILE in ${FILES} do echo ${FILE} #发送文件 (关键部分） #复制出来，如有结尾有空格，请自行去掉 lftp -u ${USER},${PASSWORD} sftp://${IP}:${PORT}<<EOF cd ${DESDIR}/ lcd ${SRCDIR} put ${FILE} by EOF done ``` 这个脚本使用lftp命令来实现sftp文件上传。首先，设置sftp服务器的地址、端口、用户名和密码。然后，指定要上传的文件的根目录和sftp目录。接下来，使用cd命令切换到待上传文件的根目录，获取所有文件的列表。最后，使用lftp命令连接到sftp服务器，并执行cd命令切换到sftp目录，lcd命令切换到待上传文件的根目录，put命令上传指定的文件。\[2\] 如果你想实现sftp文件同步，可以使用以下示例脚本: ```bash #!/bin/bash #sftp服务器地址 host="192.168.149.128" #端口 port=22 sftp_user="sftp" #密码 password="123456" #下载到本地的目录 localDir="/data/logs/sftp_logs" \[ ! -d $localDir \] && mkdir -p $localDir #sftp中待下载的文件目录 remoteDir1="/oslog" remoteDir2="/data" lftp -u ${sftp_user},${password} sftp://${host}:${port}<<EOF cd / lcd ${localDir} mirror ${remoteDir1} mirror ${remoteDir2} by EOF ``` 这个脚本使用lftp命令来实现sftp文件同步。首先，设置sftp服务器的地址、端口、用户名和密码。然后，指定要下载到本地的目录和sftp中待下载的文件目录。接下来，使用lftp命令连接到sftp服务器，并执行cd命令切换到根目录，lcd命令切换到本地目录，mirror命令同步指定的远程目录到本地目录。\[3\] #### 引用[.reference_title] - *1* *3* [使用shell脚本下载sftp文件](https://blog.csdn.net/d1240673769/article/details/106307421)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [linux下用shell脚本实现sftp文件上传](https://blog.csdn.net/weixin_42952472/article/details/123378125)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值