手机应用url抓取_Python爬虫：抓取整个互联网的数据

爬虫，也叫网络爬虫或网络蜘蛛，主要的功能是下载Internet或局域网中的各种资源。如html静态页面、图像文件、js代码等。网络爬虫的主要目的是为其他系统提供数据源，如搜索引擎(Google、Baidu等)、深度学习、数据分析、大数据、API服务等。这些系统都属于不同的领域，而且都是异构的，所以肯定不能通过一种网络爬虫来为所有的这些系统提供服务，因此，在学习网络爬虫之前，先要了解网络爬虫的分类。如果从按抓取数据的范围进行分类，网络爬虫可以分为如下几类。

• 全网爬虫：用于抓取整个互联网的数据，主要用于搜索引擎(如Google、Baidu等)的数据源。

• 站内爬虫：与全网爬虫类似，只是用于抓取站内的网络资源。主要用于企业内部搜索引擎的数据源。

• 定向爬虫：这种爬虫的应用相当广泛，我们讨论的大多都是这种爬虫。这种爬虫只关心特定的数据，如网页中的PM2.5实时监测数据，天猫胸罩的销售记录、美团网的用户评论等。抓取这些数据的目的也五花八门，有的是为了加工整理，供自己的程序使用，有的是为了统计分析，得到一些有价值的结果，例如，哪种颜色的胸罩卖的最好。

本文主要讲解第一类爬虫,全网爬虫的实现。由于整个互联网的数据过于庞大，所以这里用了一些网页模拟整个互联网的页面，来模拟抓取这些页面。这里使用7个HTML文件来模拟互联网资源，并将这7个HTML文件放在本地的nginx服务器的虚拟目录，以便抓取这7个HTML文件。全网爬虫要至少有一个入口点(一般是门户网站的首页)，然后会用爬虫抓取