1.下载缓存
本章提出了对已爬取网页进行缓存的方案,可以让每个网页只下载一次来提高效率。
2.缓存支持
先搜索是否存有缓存,若没有,再执行下载,并保存下载到cache
3.解析Python中的_getitem_专有方法
为了使类中的字典数据支持cache[key]=result形式
4.合法文件名
为了保证在不同文件系统中 , 我们的文件路径都是安全的 , 就需要限制其文件名。
只能包含数字、字母和基本符号, 并将其他字符替换为下划线。
5.Disk cache类
os.path.exists (path)
:路径path是否存在,返回TRUE/FALSE
with...as:
python中稳定的文件操作,等于带try。。。except…
with open(‘cache.txt’,’rb’) as fp:
‘r’:默认值,表示从文件读取数据。
‘w’:表示要向文件写入数据,并截断以前的内容
‘a’:表示要向文件写入数据,添加到当前内容尾部
‘r+’:表示对文件进行可读写操作(删除以前的所有数据)
‘r+a’:表示对文件可进行读写操作&#