Python 爬虫01

爬虫简介

• 爬虫定义： 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐着），是一种按照一定规则，自动抓取万维网信息的程序或脚本。

另外一些不常用的名字还有网络蚂蚁，自动索引，模拟程序或蠕虫

两大特征

• 能按作者要求下载数据或内容
• 能自动在网络上流窜

三大步骤

• 下载信息 （下载网页）
• 提取正确的信息
• 根据一定的规则自动跳转到另外的网页上执行以上两步

爬虫分类

• 通用爬虫
• 专用爬虫（聚焦爬虫）

Python 网络包简介

• Python2.x: urllib,urllib2,urllib3,httplib,httplib2, requests
• Python3.x: urllib,urllib3,httplib2,requests

使用上：

• Python2.x: urllib+urllib2配合使用，或者requests
• Python3.x: urllib+requests