网络爬虫：

网络爬虫是什么？

定义：自动地从互联网中定向或者不定向的采集信息的一种程序；
分类：通常分为
通用网络爬虫；
聚焦网络爬虫；
等等。

网络爬虫能做什么？

**通用网络爬虫**可以用在***搜索引擎***中；**聚焦网络爬虫**可以从互联网中***自动采集信息并代替我们筛选出相关的数据***出来。
1，搜索引擎
2，采集金融数据
3，采集商品数据
4，自动过滤广告
5，采集竞争对手客户数据
6，采集行业相关数据，进行数据分析等等

网络爬虫运行原理：

通用网络爬虫：
1，获取初始URL；2，爬页面并获得新的URL，将2中已经抓取地址放到已爬列表中；3，将新的URL放入URL队列；4，读取新URL；5，是否满足终止条件；6，是，停止；否，回到步骤2。

聚焦网络爬虫：
1，对抓取的目标进行定义或者描述；2，获取初始URL；3，爬取页面获得新的URL，将已经抓取得地址放到已爬列表中；4，过滤无关的链接；5，将过滤后的URL放入URL队列中；6，确定下一步要爬取的内容；7，依次读取已爬的URL；8，是否满足停止条件；9，满足，停止；否则，回到步骤3。