如何让Python爬虫一天抓取100万张网页

就还需要想办法压缩URL的内存占用，可以使用BloomFilter算法，是一个很经典的算法，非常适用海量数据的排重过滤，占用极少的内存，查询效率也非常的高。它的原理是把一个字符串映射到一个bit上，刚才23402373占8个字节，现在只占用1个bit（1字节=8bit），内存节省了近64倍，以前700M内存，现在只需要10多M了。

BloomFilter调用也非常简单，当然需要先install 安装bloom_filter：

from bloom_filter import BloomFilter # 生成一个装1亿大小的

bloombloom = BloomFilter(max_elements=100000000, error_rate=0.1)

向bloom添加URL bloom.add(‘https://www.tianyancha.com/company/23402373’) #判断URL是否在bloombloom.contains(‘https://www.tianyancha.com/company/23402373’)

不过奇怪，bloom里没有公有方法来判断URL是否重复，我用的__contains__()方法，也可能是我没用对，不过判重效果是一样的。

三、反抓取访问频率限制

---

单台机器，单个IP大家都明白，短时间内访问一个网站几十次后肯定会被屏蔽的。每个网站对IP的解封策略也不一样，有的1小时候后又能重新访问，有的要一天，有的要几个月去了。突破抓取频率限制有两种方式，一种是研究网站的反爬策略。有的网站不对列表页做频率控制，只对详情页控制。有的针对特定UA，referer，或者微信的H5页面的频率控制要弱很多。

另一种方式就是多IP抓取，多IP抓取又分IP代理池和adsl拨号两种，我这里说adsl拨号的方式，IP代理池相对于adsl来说，我觉得收费太贵了。要稳定大规模抓取肯定是要用付费的，一个月也就100多块钱。

adsl的特点是可以短时间内重新拨号切换IP，IP被禁止了重新拨号一下就可以了。这样你就可以开足马力疯狂抓取了，但是一天只有24小时合86400秒，要如何一天抓过百万网页，让网络性能最大化也是需要下一些功夫的，后面我再详说。

至于有哪些可以adsl拨号的野云主机，你在百度搜”vps adsl”，能选择的厂商很多的。大多宣称有百万级IP资源可拨号，我曾测试过一段时间，把每次拨号的IP记录下来，有真实二三十万IP的就算不错了。

选adsl的一个注意事项是，有的厂商拨号IP只能播出C段和D段IP，110(A段).132(B段).3(C段).2(D段)，A和B段都不会变，靠C，D段IP高频次抓取对方网站，有可能对方网站把整个C/D段IP都封掉。

C/D段加一起255X255就是6万多个IP全都报废，所以要选拨号IP范围较宽的厂商。 你要问我哪家好，我也不知道，这些都是野云主机，质量和稳定性本就没那么好。只有多试一试，试的成本也不大，买一台玩玩一个月也就一百多元，还可以按天买。

上面我为什么说不用付费的IP代理池？

---

因为比adsl拨号贵很多，因为全速抓取时，一个反爬做得可以的网站10秒内就会封掉这个IP，所以10秒就要换一个IP，理想状况下一天86400秒，要换8640个IP。

如果用付费IP代理池的话，一个代理IP收费4分钱，8640个IP一天就要345元。 adsl拨号的主机一个月才100多元。

adsl拨号Python代码

---

怎么拨号厂商都会提供的，建议是用厂商提供的方式，这里只是示例：

windows下用os调用rasdial拨号：

import os # 拨号断开

os.popen(‘rasdial 网络链接名称 /disconnect’) # 拨号

os.popen(‘rasdial 网络链接名称 adsl账号 adsl密码’)

linux下拨号：

import os # 拨号断开

code = os.system(‘ifdown 网络链接名称’)# 拨号

code = os.system(‘ifup 网络链接名称’)

四、网络性能，抓取技术细节调优

---

上面步骤做完了，每天能达到抓取五万网页的样子，要达到百万级规模，还需把网络性能和抓取技术细节调优。

1.调试开多少个线程，多长时间拨号切换IP一次最优。

每个网站对短时间内访问次数的屏蔽策略不一样，这需要实际测试，找出抓取效率最大化的时间点。先开一个线程，一直抓取到IP被屏蔽，记录下抓取耗时，总抓取次数，和成功抓取次数。 再开2个线程，重复上面步骤，记录抓取耗时，总的和成功的抓取次数。再开4个线程，重复上面步骤。整理成一个表格如下，下图是我抓天眼查时，统计抓取极限和细节调优的表格：

从上图比较可以看出，当有6个线程时，是比较好的情况。耗时6秒，成功抓取80-110次。虽然8个线程只耗时4秒，但是成功抓取次数已经在下降了。所以线程数可以设定为开6个。

开多少个线程调试出来了，那多久拨号一次呢？

从上面的图片看到，貌似每隔6秒拨号是一个不错的选择。可以这样做，但是我选了另一个度量单位，就是每总抓取120次就重新拨号。为什么这样选呢？从上图也能看到，基本抓到120次左右就会被屏蔽，每隔6秒拨号其实误差比较大，因为网络延迟等各种问题，导致6秒内可能抓100次，也可能抓120次。

2.requests请求优化

要优化requests.get(timeout=1.5)的超时时间，不设置超时的话，有可能get()请求会一直挂起等待。而且野云主机本身性能就不稳定，长时间不回请求很正常。如果要追求抓取效率，超时时间设置短一点，设置10秒超时完全没有意义。对于超时请求失败的，大不了以后再二次请求，也比设置10秒的抓取效率高很多。

3.优化adsl拨号等待时间

上面步骤已算把单台机器的抓取技术问题优化到一个高度了，还剩一个优化野云主机的问题。就是每次断开拨号后，要等待几秒钟再拨号，太短时间内再拨号有可能又拨到上一个IP，还有可能拨号失败，所以要等待6秒钟（测试值）。所以要把拨号代码改一下：

import os # 断开拨号

os.popen(‘rasdial 网络名称 /disconnect’)

time.sleep(6) # 拨号

os.popen(‘rasdial 网络名称 adsl账号名 adsl密码’)

而且 os.popen(‘rasdial 网络名称 adsl账号名 adsl密码’) 拨号完成后，你还不能马上使用，那时外网还是不可用的，你需要检测一下外网是否联通。

我使用 ping 功能来检测外网连通性：

import os

code = os.system(‘ping www.baidu.com’)

code为0时表示联通，不为0时还要重新拨号。而ping也很耗时间的，一个ping命令会ping 4次，就要耗时4秒。

上面拨号等待6秒加上 ping 的4秒，消耗了10秒钟。上面猿人学Python说了，抓120次才用6秒，每拨号一次要消耗10秒，而且是每抓120次就要重拨号，想下这个时间太可惜了，每天8万多秒有一半时间都消耗在拨号上面了，但是也没办法。

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、全套PDF电子书

书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。

四、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

五、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！