初识爬虫

爬虫那些事

0*0  什么是爬虫

        网络爬虫，又名网络机器人，是指按一定规则，自动获取目标网站或app上有价值数据的程序或脚本。在如今的DT时代，各公司都想获取数据，有了数据就可以玩出很多有想象力的产品。然而，各公司自己掌握的数据是有限的，要想把产品做的丰富，还需要外部同行业数据的支撑。所以，爬虫就有了用武之地，各公司可以利用爬虫去自动获取第三方的开放数据。 

如下图，灰色框内即为爬虫的主要功能，爬虫负责数据的采集，并把采集的数据入库，最后供数据分析程序使用或者进行二次加工做成新的产品和网站。 

0*1 爬虫的结构

       我们知道互联网是有很多的网页组成的，每个网页我们通过url来访问。一个url往往是对应着一张网页(Page). 各个页面通过url链接成了一个网状结构。

爬虫爬取数据往往从一个页面出发，下载、解析该网页感兴趣的数据保存入库并分析其中的url，然后再去下载、解析该url对应的页面保存入库；

再分析其中的url，并访问，如此重复并可以爬遍所有的页面。

       如下图，就是爬虫的结构首先从一个页面出发，把数据入库，同时把该网页中的URLS放入到Queue中，由Scheduler根据一定的算法从Queue中获取URLS给分布式多线程的爬虫，爬虫去获取解析数据并入库。 

                                       （该图片来自维基百科）

0*2 爬虫的工作流程

1. 首先设计挑选一些种子URL；

2. 将这些URL放入待抓取URL队列；

3. 从待抓取URL队列中取出待抓取在URL，根据URL获取网页，解析存储网页信息；

4. 从网页信息中提取新的URL放入队列中；

5. 重复上面3和4的过程，直到待爬取队列为空。

以下是我的微信公众号：