《用python写网络爬虫》笔记3

1.下载缓存
本章提出了对已爬取网页进行缓存的方案,可以让每个网页只下载一次来提高效率。

2.缓存支持
先搜索是否存有缓存,若没有,再执行下载,并保存下载到cache

3.解析Python中的_getitem_专有方法
为了使类中的字典数据支持cache[key]=result形式

4.合法文件名
为了保证在不同文件系统中 , 我们的文件路径都是安全的 , 就需要限制其文件名。
只能包含数字、字母和基本符号, 并将其他字符替换为下划线。

5.Disk cache类
os.path.exists (path):路径path是否存在,返回TRUE/FALSE
with...as:python中稳定的文件操作,等于带try。。。except…

with open(‘cache.txt’,’rb’) as fp:

‘r’:默认值,表示从文件读取数据。
‘w’:表示要向文件写入数据,并截断以前的内容
‘a’:表示要向文件写入数据,添加到当前内容尾部
‘r+’:表示对文件进行可读写操作(删除以前的所有数据)
‘r+a’:表示对文件可进行读写操作&#

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值