python网络爬虫文献综述_python网络爬虫综述

本文主要是个人python学习过程中的碎碎念想，希望对感兴趣的童鞋有所帮助。

百度百科上网络爬虫的定义是：“网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本”。使用网络爬虫可以个性化的从互联网上抓取个人干兴趣的数据，完成当前搜索引擎所做不到的一些个性化搜索。不太恰当的说，使用python编写网络爬虫，其实就是在模拟模拟浏览器的工作过程，从互联网上抓取所需的信息并完成分析和提取、保存的过程。

为了更好的网络爬虫的工作过程，我们首先来看用户访问互联网资源的过程，以用户在浏览器中输入：

http://www.baidu.com为例，当用户输入完成并开始搜索时，用户所请求的网页经过DNS完成域名解析后，通过网络承载HTTP协议栈的数据，发往百度所在的服务器，百度的数据器收到请求后将百度的首页的数据返回给用户（假设这一过程发生的所有过程全部正确），用户的浏览器收到百度响应数据后，采用浏览器进行数据解析，将百度的首页呈现在用户眼前。这里百度返回的数据是HTTP协议栈所封装的HTML/CSS/PHP的数据。如上文所述，我们使用python编写网络爬虫时，其工作原理也是如此。为完成这一工作过程，我们需要掌握python的基础知识，其中最重要的是python的urllib和urllib2库和python的正则表达式的使用，前者主要完成从目标主机中找到信息所在的“网页”，后者主要是从“互联网返回的网页”中获取到所需的信息。

闲话少说，我们以一些实际例子来看，如何使用使用python来编写一些简单的网络爬虫。