服务器上架文档,定时向服务器上传文件的实现

我用师兄的脚本从ENA上下载fastq数据----https://github.com/Yuanting-Zheng/wonderful_download 但是由于我下载的数据量很大，而服务器又不能联网，所以只能先下载到自己的电脑然后再上传到服务器上。这样就会出现一个问题，如果我不及时把下载下来的文件上传到服务器上的话，我电脑的磁盘空间显然是不够的，下面讲怎么用python定时实现下载完成后的文件传到服务器并同时删除上传完成的文件。

1.批量上传下载完成的数据并删除

#4-successful_upload.py----该脚本用于把文件上传到服务器

#!/usr/bin/env python3

# -*- coding: utf-8 -*-

import os

path='/Users/mac/Desktop/test/PRJNA437324' #下载完成后存放文件存放目录

dirs=os.listdir(path)

dirs.sort() #排序

#定义一个计算path目录下有多少文件的函数。

def countFile(dirs):

count=0

for file in dirs:

if os.path.isfile(os.path.join(path,file)):

count +=1

return count

#当前文件夹中的文件数大于3时候,把文件夹中的文件上传到服务器，并删除该文件(大于3说明已经有文件下好了)。

#注:我的下载是不间断进行的，所以需要确定文件下载完全后才传到服务器。

countFile(dirs)

while countFile(dirs)>3:

new_dirs=dirs[:len(dirs)-3]

#上传到服务器,并删除该文件

for new_file in new_dirs:

os.system('scp '+path+'/'+new_file+' xx@xx.xx.xx.xx:/data3/maize_data/PRJNA437324')

#scp命令,为了上传文件到服务器可以不输入服务器密码，请参考我师兄的简书:https://www.jianshu.com/p/306cb0c3508d

os.system('rm -f '+path+'/'+new_file)

2.定时运行上述脚本

#5-run_regularly.py:该脚本实现的是每间隔多少时间运行上述脚本。(确保能源源不断的把下载完成的文件传到服务器)

#!/usr/bin/env python3

# -*- coding: utf-8 -*-

import os,time

path0='/Users/mac/Desktop/test/'

while True:

os.popen('python '+path0+'/4-successful_upload.py')

time.sleep(3600) #3600秒的时间间隔。

3.测试

#添加可执行权限

chmod u+x 4-successful_upload.py 5-run_regularly.py

#测试仅运行脚本4，实际运行时候只需要运行脚本5,实际运行的命令如下:

nohup ./5-run_regularly.py >run_regularly.log &

#注:如果下载完成记得在后台把这个命令给kill掉。

(1)正在下载中的数据(有gz和gz.aspx代表正在下载)

file

(2)下面为执行脚本4的结果，很显然已经成功实现了前面我所要的结果。

自己电脑:

file

服务器端:

file

本文由博客一文多发平台 OpenWrite 发布！