利用python实现两个文件夹的同步

原文转载于:https://www.cnblogs.com/geek-arking/p/10213449.html

其实无论windows还是Linux，简单地去实现两个两个文件夹的同步只需系统自带的复制命令加参数就可以了。

• WINDOWS ：

xcopy 源文件夹\* 目标文件夹 /s /e /y

• Linux ：

cp -r 源文件夹/* 目标文件夹

这里使用python来实现这些基本功能，并增加一些去重之类的增强功能。

---

1、复制源文件夹中文件至目标文件夹 

要想同步两个文件夹中的数据，基本思路首先需要遍历源文件夹中的信息，将源文件夹中的文件复制到目标文件夹。

遍历文件夹采用os中的listdir函数就可以了。

import os

path_s = 'F:\\test\\s'
path_t = 'F:\\test\\t'

for filename in os.listdir(path_s):
    filename_s = path_s+os.sep+filename
    print '[*]  Source :',filename_s
    filename_t = path_t+os.sep+filename
    print '[*]  Target :',filename_t
    with open(filename_s,'rb') as f_s:
        with open(filename_t,'wb') as f_t:
            f_t.write(f_s.read())

但是很明显这里没有考虑源文件夹中还会存在文件夹甚至多重文件夹的情况。

2、源文件夹中存在多重文件夹

一个简单的思路就是：在遍历源文件夹内的文件时，先判定当前文件这是文件还是文件夹。如果当前文件是文件夹的话，开始遍历此文件夹内的文件，如果里面还有文件夹，遍历这个文件夹，依次类推。利用递归的方法，代码如下：

import os


path_s = 'F:\\test\\s'
path_t = 'F:\\test\\t'

def copy_file(paths,patht):
    for filename in os.listdir(paths):
        filename_s = paths+os.sep+filename
        filename_t = patht+os.sep+filename
        if os.path.isdir(filename_s):
            if not os.path.exists(filename_t):
                os.mkdir(filename_t) #在目标文件夹中创建对应的文件夹
            copy_file(filename_s,filename_t) # 递归
        else:
            print '[*]  Source :',filename_s
        
            print '[*]  Target :',filename_t
            with open(filename_s,'rb') as f_s:
                with open(filename_t,'wb') as f_t:
                    f_t.write(f_s.read())


copy_file(path_s,path_t)

目前，简单的文件夹复制功能已经实现了。

3、目标文件夹中已有文件不再复制

一个简单的方法就是在目标文件夹中复制文件之前先利用函数“os.path.exists”判定这个文件是否存在。

import os


path_s = 'F:\\test\\s'
path_t = 'F:\\test\\t'

def copy_file(paths,patht):
    for filename in os.listdir(paths):
        filename_s = paths+os.sep+filename
        filename_t = patht+os.sep+filename
        if os.path.isdir(filename_s):
            if not os.path.exists(filename_t):
                os.mkdir(filename_t)
            copy_file(filename_s,filename_t)
        else:
            if os.path.exists(filename_t):
                print '[*] "%s" already exists! ' % filename_t
            else:
                print '[*]  Source :',filename_s
        
                print '[*]  Target :',filename_t
                with open(filename_s,'rb') as f_s:
                    with open(filename_t,'wb') as f_t:
                        f_t.write(f_s.read())

copy_file(path_s,path_t)

这个办法避免了一部分已有文件的重复复制操作，减少了部分不必要的读写操作，但是却无法消除内容相同但名称、路径不同的重复文件。

4、利用MD5判定重复文件

目前判定两个文件是否相同，除了按字节逐个对比这个笨方法外，简单常用的办法就是利用MD5和CRC校验，或是按一定规律挑取文件的指定位置的数据块就行对比。

这次利用文件的MD5值，将目标文件夹中已有文件的MD5值保存到列表或字典中，每在源文件夹中读取一个文件就判定该文件的MD5值是否已经存在于MD5列表，没有的话再进行复制操作，并将该文件的MD5值写入列表。

import os
import hashlib

path_s = 'F:\\test\\s'
path_t = 'F:\\test\\t'
list_file = {}

def create_file_list(path):
    for name in os.listdir(path):
        filename = path+os.sep+name
        if os.path.isdir(filename):
            create_file_list(filename)
        else:
            with open(filename,'rb') as f:
                md5 = hashlib.md5(f.read()).hexdigest()
                if md5 not in list_file:
                    list_file[md5] = 1

def copy_file(paths,patht):
    for filename in os.listdir(paths):
        filename_s = paths+os.sep+filename
        filename_t = patht+os.sep+filename
        if os.path.isdir(filename_s):
            if not os.path.exists(filename_t):
                os.mkdir(filename_t)
            copy_file(filename_s,filename_t)
        else:
            if os.path.exists(filename_t):
                print '[*] "%s" already exists! ' % filename_t
            else:
                with open(filename_s,'rb') as f_s:
                    data = f_s.read()
                    file_md5 = hashlib.md5(data).hexdigest()
                    if file_md5 not in list_file:
                        list_file[file_md5] = 1
                        print '[*]  Source :',filename_s
                        print '[*]  Target :',filename_t
                        with open(filename_t,'wb') as f_t:
                            f_t.write(data)
                    else:
                        print '[*] "%s"\'s MD5 already exists! ' % filename_t

create_file_list(path_t)
copy_file(path_s,path_t)

如下图，运行后内容相同的几个文件，只有第一次读取到的时候才写入目标文件夹，其他路径下的文件并没有复制到目标文件夹。