Python爬虫，爬取百度百科词条

最新推荐文章于 2022-12-08 16:58:33 发布

dmfrm

最新推荐文章于 2022-12-08 16:58:33 发布

阅读量3.4k

点赞数 1

分类专栏：爬虫文章标签： python beautifulsoup

本文链接：https://blog.csdn.net/u010889616/article/details/77824928

版权

本文介绍了如何使用Python的Beautifulsoup库爬取百度百科的页面内容。首先讲解了Beautifulsoup的安装方法，然后详细阐述了爬虫的五个基本模块：调度、下载、解析、URL管理和输出。提供了一个具体的爬虫源码链接，供读者参考和下载。

摘要由CSDN通过智能技术生成

看了慕课网的一个网络爬虫教程。模仿着写了一个简单的爬取百度百科的例子。

（1）安装Beautifulsoup4

Beautifulsoup是Python的一个网页解析库，使用起来很方便。http://cuiqingcai.com/1319.html这个链接是介绍如何使用。这个库是需要安装的，进入Pthon安装目录下面的Scripts目录，执行pip install beautifulsoup进行安装。

（2）爬虫具体实现

爬虫分为5个模块，调度模块、网页下载模块、网页解析模块、URL管理模块、输出模块。

URL管理模块，负责保存最新的网页URL，每次取出最新的URL进行爬取。

#coding=utf8
class UrlManager(object):


    def __init__(self):
        self.new_urls = set()
        self.old_urls = set()


    #添加新的url
    def _add_new_url(self, url):
        if url is None:
            return
        if url not in self.new_urls and url not in self.old_urls:
            self.new_urls.add(url)

    #批量添加url