u011422679的博客

原创 Python3 爬取百度百科

前言不需要登录百度账号即可获取某一特定的百科页面，因此编写爬虫时不需要考虑登录的问题百度百科有反爬虫机制，如果同一个IP短时间内大量访问百科服务器，会导致百科在一段时间内拒绝响应该IP。因此，如果直接连续爬取百科页面，很快会被封杀而不能继续爬取。解决的办法是使用代理。也就是让某个代理p替我们去访问某一个百科页面，然后代理将其获取的百科页面传给我们。这样，在百科服务器看来，访问它的是代理p，而不是