本文探讨如何优化爬虫，使其在一台机器上实现每天抓取100万张网页。通过硬盘存储优化（如压缩网页）、内存管理（如使用BloomFilter减少URL内存占用）和反抓取策略（如多IP抓取和ADSL拨号），详细阐述了提高爬虫性能的技术细节。
前一两年抓过某工商信息网站，几三周时间大约抓了过千万多万张页面。那时由于公司没啥经费，报销又拖得很久，不想花钱在很多机器和带宽上，所以当时花了较多精力研究如何让一台爬虫机器达到抓取极限。
本文偏爬虫技术细节，先周知。
爬虫这两年貌似成为了一项必备技能，无论是搞技术的，做产品的，数据分析的，金融的，初创公司做冷启动的，都想去抓点数据回来玩玩。这里面绝大多数一共都只抓几万或几十万条数据，这个数量级其实大可不必写爬虫，使用 chrome 插件 web scraper 或者让 selenium 驱动 chrome 就好了，会为你节省很多分析网页结构或研究如何登陆的时间。
本篇只关注如何让爬虫的抓取性能最大化上，没有使用scrapy等爬虫框架，就是多线程+Python requests库搞定。
对一个网站定向抓取几十万张页面一般只用解决访问频率限制问题就好了。对机器内存，硬盘空间，URL去重，网络性能，抓取间隙时间调优一般都不会在意。如果要设计一个单台每天抓取上百万张网页，共有一亿张页面的网站时，访问频率限制问题就不是最棘手的问题了，上述每一项都要很好解决才行。硬盘存储，内存，网络性能等问题我们一项项来拆解。
优化硬盘存储
所以千万级网页的抓取是需要先设计的，先来做一个计算题。共要抓取一亿张页面，一般一张网页的大小是400KB左右，一亿张网页就是1亿X200KB=36TB 。这么大的存储需求，一般的电脑和硬盘都是没法存储的。所以肯定要对网页做压缩后存储，可以用zlib压缩，也可以用压缩率更好的bz2或pylzma 。
但是这样还不够，我们拿天眼查的网页来举例。天眼查一张公司详情页的大小是700KB 。
对这张网页zlib压缩后是100KB。
一亿个100KB（9TB）还是太大，要对网页特殊处理一下，可以把网页的头和尾都去掉，只要body部分再压缩。因为一张html页面里<head></head>和<footer></footer>大都是公共的头尾信息和js/css代码，对你以后做正文内容抽取不会影响（也可以以后做内容抽取时把头尾信息补回去就好）。
来看一下去掉头尾后的html页面大小是300KB，压缩后是47KB。
最低0.47元/天 解锁文章
752
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
