Python监控目录文件夹，并使用SFTP上传目录及文件到linux服务器

最新推荐文章于 2024-07-20 03:45:50 发布
最新推荐文章于 2024-07-20 03:45:50 发布
阅读量1.3k 收藏 5
点赞数 1
分类专栏： Python OpenCV 图像处理 文章标签： python linux 目录文件夹同步 SFTP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40985985/article/details/109597461
版权
本文介绍了使用Python的watchdog库监控本地目录，结合paramiko库通过SFTP将文件和目录上传到Linux服务器的方法。讨论了大文件分块上传的WebUploader组件，以及优化方案——压缩后上传。还涵盖了监控过程中可能出现的问题及其解决方案。
摘要由CSDN通过智能技术生成

Python 扫描监控本地文件夹并进行超大文件上传

Python监控本地目录文件夹，并分块等方式上传文件到服务器

有几种思路：大文件分块上传，或者先压缩后上传在解压；

  • 目录监控方案： Java WatchEvent（可以监控到目录/文件的新建、修改、移动、删除）
    Python watchdog（同Java WatchEvent）
  • 大文件上传方案：WebUploader（h5+js）大文件分块，上传后在合并
    压缩后上传，在解压
    可以使用FTP、SFTP等连接服务器上传

方案1：WebUploader大文件分块多线程并发上传

WebUploader 是由Baidu WebFE(FEX)团队开发的一个简单的以HTML5为主，FLASH为辅的现代文件上传组件。

集成了文件分块，异步多线程上传；

原理：可设置是否分块、分块大小、是否多线程并发上传；
H5页面触发，js里可设置是否分块、分块大小、线程并发数；上传文件时，同一个文件会带有一个唯一的taskId，及当前分块数

了解本专栏 订阅专栏 解锁全文 超级会员免费看
程序媛一枚~
关注
专栏目录
订阅专栏
华为云服务之弹性云服务器ECS的深度使用和云端实践
╰つ栺尖篴夢ゞ
06-11 1922
什么是弹性云服务器ECS？ECS的产品架构是什么？它有哪些优势和有应用场景？弹性云服务器ECS的使用流程是怎样的？如何运用弹性云服务器ECS搭建微信公众号后台并收发文本消息？让我们带着这些疑问，去弹性云服务器ECS的世界里一探究竟，玩转ECS！！...
监控文件夹并传输文件到服务器,监控文件夹变化并ftp到服务器
weixin_31527905的博客
08-10 835
监控文件夹变化并ftp到服务器 内容精选换一换若升级出现异常，升级界面将弹出错误提示，您可以在后台服务器~/upgradeLogForMindStudio目录中查看异常信息。升级流程分别对应如下日志文件：若升级过程中出现"Unpacking package failed"错误信息，查看/tmp目录下是否存在upgradeassembly文件夹，如果存在，手动删除upgradeasse系统支持对OB...
Python： 监视文件夹，并通过sftp协议自动上传到服务器（结合freesshd）
ayouayouwei
03-18 1258
功能介绍 写个python脚本，对某文件夹进行监视，查看是否有文件/文件夹新建、删除、移动、更改，对不同的操作进行不同的处理，对于新产生的文件，监视到之后通过sftp协议立刻上传到服务器。 前期准备工作 配置sftp服务器 通过使用freesshd 软件轻松配置sftp服务器，关于具体配置看以下博客 freesshd安装使用教程 windows下安装sftp 相应的python库 watchdog...
python sftp 创建文件夹
最新发布
weixin_32614533的博客
07-20 59
python相关学习资料：https://edu.51cto.com/video/4645.htmlhttps://edu.51cto.com/video/4102.htmlhttps://edu.51cto.com/video/3832.htmlPython SFTP 创建文件夹：新手指南 作为一名刚入行的开发者，...
python sftp模块_python用paramiko模块上传本地目录到远程目录
weixin_39657444的博客
12-06 170
python用paramiko模块默认中只可以上传文件，在网上也没有找到合适的直接上传目录的方法，所以用os.walk方法和paramiko结合写了一个上传目录的方法，代码如下：12345678910111213141516171819202122232425262728293031323334353637383940#!/usr/bin/env pythonimport paramiko,dat...
python sftp上传文件_python paramiko利用sftp上传目录到远程的实例
weixin_29582621的博客
02-03 311
网上大部分都是上传文件，于是个人参照网上一些博客的内容，写了一个把windows上目录上传到远程linux的一个小程序。下面是代码： class ExportPrepare(object):def __init__(self):passdef sftp_con(self):t = paramiko.Transport((self.ip, self.port))t.connect(username=...
Python实现FTP上传本地文件和目录
li
01-03 6622
最近在做一个稽核任务，需要FTP登录服务器下载文件到本地和上传文件到服务器，参考了不少例子，功能都太单一，很少能直接拿来使用，于是自己写了一个。FTP下载文件到本地请参考前一篇Python实现FTP下载远端文件和目录 一 . 几个模块 from ftplib import FTP ftp = FTP() #设置变量 ftp.set_debuglevel(2) #打开调试级别2 显示详细信息 ...
一看就懂！python实现多服务器文件分发
大誌的博客
07-16 1843
前言 多台服务器同步配置文件是一个常用的需求。尤其是负载均衡下，修改一点东西可能需要同步到N台服务器上。人工同步略微有点蛋疼。 Linux有个scp复制，需要搭配expect来使用。但是说实话，我是不愿意写bash脚本的。前段日子写zabbix的监控脚本就感觉自己头皮发麻。 python有一个paramiko库同样可以实现文件分发。接下来我们就来看看如何实现。 为了方便，这里采用了json配置文件的形式。同时最终我会用pyinstaller打包成可执行文件。 python版本：3.6.8 par
定时ftp上传文件
12-19
在IT行业中，定时FTP上传文件是一项常见的自动化任务，尤其对于监控、数据分析或者备份等场景尤为重要。这个任务涉及到几个关键知识点，下面将详细讲解。 首先，我们要理解“定时”这一概念。在计算机领域，定时...
搭建FTP服务器实现文件共享和NFS服务器配置：FTP服务器与NFS服务器配置管理工具的使用与比较
- 实现文件共享：用户可以通过FTP服务器共享文件，并进行文件的上传和下载操作。 - 备份与恢复：将重要数据备份到FTP服务器上，以防止数据丢失。 - 远程存储：用户可以通过FTP服务器在不同设备之间实现文件的远程...
python实时监控文件夹文件_基于python的文件监控watchdog
weixin_39573287的博客
12-04 212
import reimport osimport loggingfromwatchdog.events import FileSystemEventHandlerfromwatchdog.observers import Observerlogging.basicConfig(level=logging.INFO, format='%(asctime)s - %(name)s - %(leveln...
Python的sftp实现传文件夹和文件
qq_15682489的博客
05-17 9990
利用python的sftp实现文件上传，可以是文件，也可以是文件夹 版本Python2.7.13 应该不用pip安装更多的插件，都是自带的 不多说 上代码# -*- coding:utf-8 -*- import sys reload(sys) sys.setdefaultencoding('utf-8') import paramiko import os_XFER_FILE = 'FIL
linux监控ftp stp日志,一篇文章让你了解STP、SFTP、UTP、FTP、ASTP分别是什么网线？...
weixin_39640417的博客
05-01 423
网线作为综合布线设计施工的一部分，是大部分信息传输系统的基础介质，其重要性不言而喻，本文将解析屏蔽网线的主要作用是什么？双绞线是什么？STP、SFTP、UTP、FTP、ASTP又分别是什么？什么的超五类双屏蔽网线？什么是超五类单屏蔽网线？怎么区分双屏网线和非屏蔽网线，两者有什么区别？如何分辨超五类线？如何分辨超六类线？屏蔽网线的主要作用是什么？屏蔽网线主要是针对有强干扰的环境，有干扰的环境会造成网...
python ftp上传文件_python实现支持目录FTP上传下载文件的方法
weixin_35725389的博客
02-09 278
#!/usr/bin/env python# -*- coding: utf-8 -*-import ftplibimport osimport sysclass FTPSync(object):conn = ftplib.FTP()def __init__(self,host,port=21):self.conn.connect(host,port)def login(self,username...
使用Hutool监听文件变化
weixin_33801856的博客
03-23 1622
为什么80%的码农都做不了架构师？>>> ...
Python使⽤sftp实现上传和下载功能（实例代码）
Vnmm_web_c的博客
06-30 890
Python使⽤sftp实现上传和下载功能
Python进行 sftp上传下载
沐晨潇雨の爬坑之旅
10-27 2933
【代码】Python进行 sftp上传下载。
Linux SFTP详解
ElvisTan
07-10 9710
由于采用明文传输用户名和密码，FTP协议是不安全的。在同一机房中只要有一台服务器被攻击者控制，它就可能获取到其它服务器上的FTP密码，从而控制其它的服务器。 当然，很多优秀的FTP服务器都已经支持加密。但如果服务器上已经开了SSH服务，我们完全可以使用SFTP来传输数据，何必要多开一个进程和端口呢？ 下面，我就从账户设置、SSH设置、权限设置这三个方面来讲讲如何使用SFTP完全替代FT
从sftp服务器linux下载文件或文件夹到本地 linux python代码
03-28
以下是从sftp服务器下载文件或文件夹到本地linux的Python代码示例： ```python import paramiko # 连接sftp服务器 ssh = paramiko.SSHClient() ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy()) ssh....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序媛一枚~

您的鼓励是我创作的最大动力。

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值