爬取的页面如何判断是否更新

哈希函数

第一获取：

import hashlib

md5 = hashlib.md5()

md5.update('qianfengpython'.encode('utf-8'))

print(md5.hexdigest())

输出：2b036a15be73f4446e661d95e8e9603c

比较时需要再次创建一个md5，如果没有再次创建，直接md5.update()则会再原来的基础上更新，哈希出来的哈希值一定不同

第二次获取：

md5_compare = hashlib.md5()

md5_compare.update('qianfengpython'.encode('utf-8'))

print(md5_compare.hexdigest())

输出为：2b036a15be73f4446e661d95e8e9603c

两者相同

注意：
使用以下命令：
md5.update(‘qianfengpython’)

报以下错：
Traceback (most recent call last):
File “”, line 1, in
TypeError: Unicode-objects must be encoded before hashing

再用：
md5.update(‘qianfengpython’.encode(‘utf-8’))