python爬虫工程师 成长之路二 爬虫原理与实现爬虫

爬虫原理详解

虽说不同的爬虫原理并不相同，但这些原理中还是会存在许多的共同之处；所以就以通用爬虫和聚焦爬虫讲解爬虫的实现原理

通用爬虫

1. 获取初始的URL，初始URL地址可以由用户直接决定，也可以由用户指定的网页决定
2. 根据初始URL爬虫页面，爬取相应网页后将网页存储到原始数据库中，并将已爬取的URL地址存放到一个URL列表中，用于去重和判断爬取的进程；在爬取过程中也会获得新的URL，
3. 将获得的新URL放到URL队列中
4. 从URL队列中读取新的URL中，并根据新的URL爬取网页，同时从新网页获取新的URL，并重复上诉爬取过程。
5. 满足设定的停止条件后，停止爬取；若未设定停止条件，则会一直爬取到无法获取到新的URL地址为止。

聚焦爬虫

因为聚焦爬虫有目的性，所以其对于网络爬虫来说，要增加目标的定义和过滤机制。

1. 定义爬取目标
2. 获取初始URL
3. 根据初始URL爬取页面并获得新URL
4. 将新的URL过滤与爬取目标无关的链接；另外将已爬取的URL地址存放到URL列表，用于去重和判断爬取的进展
5. 将过滤后的链接放到URL队列中
6. 在URL队列中，根据搜索算法确定URL优先级，并确定下一步爬取的URL地址
7. 从下一步要爬取的URL地址中，读取新的URL，然后从URL中爬取网页，并重复上述过程
8. 满足系统中停止条件或者无法获取新URL时停止爬取
   

爬取策略

在爬虫爬取网页过程中，在待爬取URL队列中，先爬取那个URL，后爬取那个URL是由爬取策略决定的。
爬取策略主要有深度优先爬取策略、广度优先爬取策略、大站优先策略、反链策略、其他爬取策略等。下面用一个例子来讲诉各个爬行策略
如图，某个网站有1-6个网页，不同的爬取策略爬取顺序不同

• 深度