最简爬虫详细解读

最新推荐文章于 2023-04-18 01:47:19 发布

meihao5

最新推荐文章于 2023-04-18 01:47:19 发布

阅读量524

点赞数 1

分类专栏：爬虫文章标签：爬虫学习 Python

本文链接：https://blog.csdn.net/meihao5/article/details/79563902

版权

本文详细介绍了爬虫的四个核心组成部分：网页下载器（如urllib2）、网页解析器（如BeautifulSoup）、URL管理器和爬虫调度器，旨在帮助初学者理解爬虫的基本工作流程。

摘要由CSDN通过智能技术生成

一个完整的爬虫需要有以下几个部分组成：

一、网页下载器，既然是爬取网上的，就需要有一个抓取一个个网页的的工具，这就是网页下载器，有很多Python包都提供了相应功能，比如下面实例中的urllib2工具包。

二、网页解析器，当我们爬去下来一个个页面的时候，其实就是一些HTML代码包裹起来一些数据，比如文字，图片等，要想获取这些数据，就需要解析这些网页啦，这就是网页解析器的作用。另外，这也是爬虫最难的一部分，因为需要解析各种不同情况的标签，还要大量用到正则表达式，但是也有一些包比如Beautiful Soup帮助我们简化工作，想进一步学习可以参考：

https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html

三、URL管理器，由于我们的爬虫一次需要爬取很多页面，这就需要保存起来已经爬到的页面，以供网页解析器来解读这些页面，也可以防止重复抓取页面和剔除无效的URL链接。

四、爬虫调度器，顾名思义就是管理整个爬虫，使我们的爬虫按流程工作。

#url管理器
# coding:utf8
class UrlManager(object):
    def __init__(self):
        # 初始化待爬取url集合和已爬取url集合
        self.new_urls = set()
        self.old_urls = set()

    # 添加一个新的url到new_urls