爬虫进阶之路(1)————理论基础

什么是网络爬虫：

在大数据的背景下，我们需要网络上的金融，医学，新闻等数据进行研究时，如果人工的手段去获取这些数据的话，需要大量的时间和精力。为此网络爬虫的产生为我们解决了这些问题。网络爬虫可以自动的浏览网络中的信息，当然浏览信息的时候需要按照我们制定的规则去浏览，这些规则我们将其称为网络爬虫的算法。使用python可以方便地编写爬虫程序，进行互联网信息地自动检索。

学习网络爬虫可以做什么

(1) 私人定制一个搜索引擎，并且可以对搜索引擎的数据采集工作原理，进行更深层次地理解
(2)大数据分析提取更多高质量的数据源
(3)更好的研究搜索引擎优化
(4)解决就业或则跳槽问题

网络爬虫的组成

如上图：网络爬虫的组成包括控制节点，爬虫节点，资源库构成。

网络爬虫的分类

网络爬虫按照实现的技术和结构可以分为通用爬虫网络(URL队列，爬虫网页)，聚焦爬虫网络（比通用爬虫网络多了URL过滤），增量爬虫网络（只对更新的地方改变），深度爬虫网络（提交表单胡才能看到的网页的爬取）等网络爬虫类型。在实际的爬虫中通常是这几类爬虫网络的组合体。

爬虫能做什么

爬虫的出现，可以在一定程度上代替手工访问网页，所以，原先我们需要人工去访问互联网信息的操作，现在可以用爬虫网络去自动实现，这样可以更高效率地利用互联网中地有效信息。

检索和索引

检索是一种行为，而索引是一种属性。如果有一个好的索引，则可以提高检索的效率，如果没有索引，检索的效率会很低。可以把索引理解成一个目录。

用户爬虫网络

用户爬虫网络是网络爬虫网络的其中一种。所谓用户爬虫网络，即专门用来爬取互联网中用户数据的一种爬虫。由于互联网中的用户信息，相对来说是比较敏感的数据信息，所以，用户爬虫的利用价值也比较高。