Python-Pandas之两个Dataframe的比较（二）

今天找到一个好方法，可以直接比较两个df，这个方法包含在hashlib库里面，代码如下：

import hashlib, sys

files = []
try:
    files = [sys.argv[1], sys.argv[2]]
except:
    print('命令行未检测到文件参数。')
# 这个方式可以通过命令行运行：
#   
#   python3 cmpfiles.py testfile1.txt testfile2.txt
# 
# 上面自带的两个参数，就是通过  sys.argv 获得的。

if len(files) == 0:
    # files = ['./TempFiles/temp_77.csv', './TempFiles/temp_77_new.csv']
    files = ['./TempFiles/temp_77.csv', './TempFiles/temp_77_copy.csv']
# 如果直接运行这个脚本，那么用西面定义的 files


def md5(fname):
    md5hash = hashlib.md5()
    with open(fname) as handle: # 打开一个文件同时不需要考虑内存管理
        for line in handle:
            md5hash.update(line.encode('utf-8'))
    return (md5hash.hexdigest())

print('比较文件: "', files[0], '" 和 "', files[1], '"')

if md5(files[0]) == md5(files[1]):
    print('文件相同')
else:
    print('文件不相同')

运行结果如下：

两个不同的文件，我只改了几个数字从新保存的：

这个速度还蛮快的~

 

2020.03.20 补充：

今天发现这个库还有一个方法也能判断df是否相等，代码如下：

import hashlib, sys

files = []
try:
    files = [sys.argv[1], sys.argv[2]]
except:
    print('命令行未检测到文件参数。')
# 这个方式可以通过命令行运行：
#   
#   python3 cmpfiles.py testfile1.txt testfile2.txt
# 
# 上面自带的两个参数，就是通过  sys.argv 获得的。

if len(files) == 0:
    files = ['./TempFiles/temp_77.csv', './TempFiles/temp_77_new.csv']
    # files = ['./TempFiles/temp_77.csv', './TempFiles/temp_77_copy.csv']
# 如果直接运行这个脚本，那么用西面定义的 files


def sha1(fname):
    sha1hash = hashlib.md5()
    with open(fname) as handle: # 打开一个文件同时不需要考虑内存管理
        for line in handle:
            sha1hash.update(line.encode('utf-8'))
    return (sha1hash.hexdigest())

print('比较文件: "', files[0], '" 和 "', files[1], '"')

if sha1(files[0]) == sha1(files[1]):
    print('文件相同')
else:
    print('文件不相同')

结果同上面一样~