Python3 爬取百度百科

最新推荐文章于 2024-08-03 12:52:19 发布

jack_bour_

最新推荐文章于 2024-08-03 12:52:19 发布

阅读量1.7k

点赞数

分类专栏：爬虫文章标签： python 爬虫百度

本文链接：https://blog.csdn.net/u011422679/article/details/49507497

版权

本文介绍了如何编写Python3爬虫爬取百度百科页面，重点在于如何使用代理避免因频繁访问导致的封禁。首先，从URL规律中获取大量有效百科页面地址，然后编写程序利用代理获取指定页面，接着通过爬取在线免费代理网站获取多个代理以防止被封。最后，文章提供连续爬取百度百科的完整代码链接。

摘要由CSDN通过智能技术生成

前言

不需要登录百度账号即可获取某一特定的百科页面，因此编写爬虫时不需要考虑登录的问题
百度百科有反爬虫机制，如果同一个IP短时间内大量访问百科服务器，会导致百科在一段时间内拒绝响应该IP。因此，如果直接连续爬取百科页面，很快会被封杀而不能继续爬取。解决的办法是使用代理。也就是让某个代理p替我们去访问某一个百科页面，然后代理将其获取的百科页面传给我们。这样，在百科服务器看来，访问它的是代理p，而不是我们。这样我们既获取了需要的页面，同时又不让百科服务器知道我们的IP。
如果要获取百科页面，我们首先需要获取百科页面的url。这里我们采用最简单的一种方法：百科页面url有一定的规律性，可以表示成这种形式“http://baike.baidu.com/view/ + page_id + .htm”，因此我们从1开始逐个增加page_id的值，便能够得到大量有效的url（其中会有一些无效的url，但不妨碍我们）。

用代理获取一个百科页面

首先我们编写一个使用代理来获取一个指定的百科页面的程序。

my_url = "http://baike.baidu.com/view/95987.htm"
proxy_map = {
  "175.155.194.22": "8090"} # 代理的ip和端口，保存在一个map中
# 通过代理获取指定网页
proxy_support = urllib.request.ProxyHandler(proxy_map)
opener = urllib.request.build_opener(proxy_support)