爬虫基础

       爬虫的组成：爬虫节点和控制节点

控制节点之间可以相互通信，控制节点与其下的爬虫节点可以相互通信，同一个控制节点下的爬虫节点可以相互通信

网络爬虫的类型：通用网络爬虫，聚焦网络爬虫，增量式网络爬虫，深层网络爬虫

通用网络爬虫：

1.获取初始的URL

2.根据初始的URL爬取页面并获得新的URL。将爬取的网页存储到原始数据库中，并且在爬取网页的同时，发现新的URL地址，将已爬取的URL地址存放到一个URL列表中，用于去重及判断爬取的进程。

3.将新的URL放到URL队列中，重复第二步。

4.满足爬虫系统设置的停止条件时，停止爬取。

聚焦网络爬虫

1.对爬虫目标的定义和描述。

2.获取初始URL.

` 3.根据初始的URL爬取页面，并获得新的URL。

4.从新的URL中过滤掉与爬取目标无关的链接。

5.将过滤后的链接放到URL队列中。

6.从URL队列中，根据搜索算法，确定URL的优先级，并确定下一步要爬取的URL地址。

7.从下一步哟啊爬取的URL中读取新的URL，并进行爬取。

8.满足系统中设置的停止条件时，或无法获取新的URL地址时，停止爬取。

爬取策略：深度优先爬取策略、广度优先爬取策略、大站优先策略、反链策略