今天找到一个好方法,可以直接比较两个df,这个方法包含在hashlib库里面,代码如下:
import hashlib, sys
files = []
try:
files = [sys.argv[1], sys.argv[2]]
except:
print('命令行未检测到文件参数。')
# 这个方式可以通过命令行运行:
#
# python3 cmpfiles.py testfile1.txt testfile2.txt
#
# 上面自带的两个参数,就是通过 sys.argv 获得的。
if len(files) == 0:
# files = ['./TempFiles/temp_77.csv', './TempFiles/temp_77_new.csv']
files = ['./TempFiles/temp_77.csv', './TempFiles/temp_77_copy.csv']
# 如果直接运行这个脚本,那么用西面定义的 files
def md5(fname):
md5hash = hashlib.md5()
with open(fname) as handle: # 打开一个文件同时不需要考虑内存管理
for line in handle:
md5hash.update(line.encode('utf-8'))
return (md5hash.hexdigest())
print('比较文件: "', files[0], '" 和 "', files[1], '"')
if md5(files[0]) == md5(files[1]):
print('文件相同')
else:
print('文件不相同')
运行结果如下:
两个不同的文件,我只改了几个数字从新保存的:
这个速度还蛮快的~
2020.03.20 补充:
今天发现这个库还有一个方法也能判断df是否相等,代码如下:
import hashlib, sys
files = []
try:
files = [sys.argv[1], sys.argv[2]]
except:
print('命令行未检测到文件参数。')
# 这个方式可以通过命令行运行:
#
# python3 cmpfiles.py testfile1.txt testfile2.txt
#
# 上面自带的两个参数,就是通过 sys.argv 获得的。
if len(files) == 0:
files = ['./TempFiles/temp_77.csv', './TempFiles/temp_77_new.csv']
# files = ['./TempFiles/temp_77.csv', './TempFiles/temp_77_copy.csv']
# 如果直接运行这个脚本,那么用西面定义的 files
def sha1(fname):
sha1hash = hashlib.md5()
with open(fname) as handle: # 打开一个文件同时不需要考虑内存管理
for line in handle:
sha1hash.update(line.encode('utf-8'))
return (sha1hash.hexdigest())
print('比较文件: "', files[0], '" 和 "', files[1], '"')
if sha1(files[0]) == sha1(files[1]):
print('文件相同')
else:
print('文件不相同')
结果同上面一样~