爬虫总结

爬虫代码编写时需要注意一些各项：
1、重试下载
5xx错误发生时，需要考虑重试下载，重试几次也可以自定义
400错误发生时，也有可能需要考虑重试

2、控制爬虫的深度
有些网站会出现一些虚拟的地址，甚至能出现无限度的子页面，这时需要控制爬虫爬取的深度，当爬取深度超过一定数字后就不再继续爬取子页面，转为爬取其他页面

3、避免重复下载
页面之间的链接可能存在相互引用的情况，这样可能会导致爬虫循环爬取页面，导致页面被重复下载

4、下载缓存
a) 爬虫脚本以及对网页内容的解析并不能一次到位，添加了缓存可以避免发生程序异常时又从头开始爬取网页内容，会严重浪费时间
b) 网页内容可能会不定期更新，加了缓存之后，爬虫可以选出发生变化了的内容进行爬取
c) 缓存可以是磁盘、也可以是redis等缓存，还可以对缓存数据做压缩处理
d) 清理缓存过期数据