Linux企业级项目实践之网络爬虫（1）——项目概述及准备工作

         我们在学习了Linux系统编程之后，需要一些实战项目来提高自己的水平，本系列我们通过编写一个爬虫程序，将我们学习的知识进行综合应用，同时在实现项目的过程中逐渐养成一些有用的思维方式，并具有初步的软件开发思想。

网络爬虫是搜索引擎的一个重要基本功能。由于互联网上的信息非常庞大，我们借助搜索引擎很容易得到自己需要的信息。搜索引擎首先需要一个信息采集系统，即网络爬虫，将互联网上的网页或其它信息收集到本地，然后对这些信息创建索引。当用户输入查询请求的时，先对用户的查询请求进行分析，然后在索引库中进行匹配，最后对结果进行处理，返回结果。

网络爬虫不仅是搜索引擎的重要组成部分，在信息采集、舆情分析、情报收集等一些需要进行数据采集的业务系统中也应用广泛。对数据的采集是对大数据进行分析的重要前提条件。

网络爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。

网络爬虫从一个初始的URL集合出发，将这些URL全部放入到一个有序的待提取URL队列里；然后从这个队列里按顺序取出URL，通过Web上的协议，获取URL所指向的页面，从这些已获取的页面中分析提取出新的URL，并将它们继续放入到待提取URL队列里，一直重复上述过程，获取更多的页面。

 

通过此项目，我们将学会几种思想：

1、  软件框架思想

2、  代码复用思想

3、  迭代开发思想