需求:复制1个10多个G的文件夹(另外机器共享过来的文件夹,里面含有约10w个文件)到本机一个目录(另外那台机器磁盘满了的原因)
使用windows的文件夹复制,发现经常在复制一部分文件后,因某些莫名其妙的原因被中断(提示某个文件复制失败,网络被断开,可能是由于网络不稳定),然后就要从头再来,搞了几个小时还没有搞完,烦死
就想到用python写个脚本来做这个事情:文件已经存在并且大小一致时不重复复制加快处理速度
代码如下
使用windows的文件夹复制,发现经常在复制一部分文件后,因某些莫名其妙的原因被中断(提示某个文件复制失败,网络被断开,可能是由于网络不稳定),然后就要从头再来,搞了几个小时还没有搞完,烦死
就想到用python写个脚本来做这个事情:文件已经存在并且大小一致时不重复复制加快处理速度
代码如下
- #! /usr/bin/env python
- # -*- coding: utf-8 -*-
- #@author zcwang3@gmail.com
- #@version 2010-09-25 14:57
- import os
- import time
- sourceDir = r"\\192.168.3.250\mmtimages"
- targetDir = r"D:\mmtimages"
- copyFileCounts = 0
- def copyFiles(sourceDir, targetDir):
- global copyFileCounts
- print sourceDir
- print u"%s 当前处理文件夹%s已处理%s 个文件" %(time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time())), sourceDir,copyFileCounts)
- for f in os.listdir(sourceDir):
- sourceF = os.path.join(sourceDir, f)
- targetF = os.path.join(targetDir, f)
- if os.path.isfile(sourceF):
- #创建目录
- if not os.path.exists(targetDir):
- os.makedirs(targetDir)
- copyFileCounts += 1
- #文件不存在,或者存在但是大小不同,覆盖
- if not os.path.exists(targetF) or (os.path.exists(targetF) and (os.path.getsize(targetF) != os.path.getsize(sourceF))):
- #2进制文件
- open(targetF, "wb").write(open(sourceF, "rb").read())
- print u"%s %s 复制完毕" %(time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time())), targetF)
- else:
- print u"%s %s 已存在,不重复复制" %(time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time())), targetF)
- if os.path.isdir(sourceF):
- copyFiles(sourceF, targetF)
- if __name__ == "__main__":
- try:
- import psyco
- psyco.profile()
- except ImportError:
- pass
- copyFiles(sourceDir,targetDir)