Python的简单爬虫原理及实现

最简单的Python爬虫开发笔记（仅适用于不需要登录的静态页面抓取）

只是为了了解爬虫这个东西以及如何使用Python实现简单的爬虫功能，没有过于强大的数据爬取功能以及其他的更高要求。

简单的爬虫架构：
1.URL管理器（已经抓取的URL和未抓取的URL）
2.网页下载器（使用urllib2  Python 的自带的库）目的是将url对应的网页下载到本地
3.网页解析器（BeautifulSoap Python 的第三方插件）

URL管理器（最小功能范围）
防止循环抓取和重复抓取，例如页面之间项目指向就会循环
需要的功能：
1.添加新的url到未抓取的url集合中，还要判断这个url是否已经在容器中，如果已经在了那么就不能添加，防止重复和循环
2.获取一个待爬取的url，还要判断容器中是否还有待爬取的url，爬取完毕后将url从待爬取集合转为已爬取集合

url管理器实现方式：
1.将未爬取的和爬取的url集合都存放在Python的set集合中，因为set集合会自动去掉重复的元素
2.可以存在关系型数据库（如mysql）中，urls(url,is_crawled)两个字段，一个是url一个是是否已经被爬取了
3.可以存放在缓存数据库（如redis）中，依然是用set存放
一般的大公司都使用缓存数据库，性能比较高
小公司可以使用关系型数据库，可以永久存放

网页下载器：（核心组件）
将网页下载到本地，存为html或是字符串的形式
大概有两种：
1.urllib2
这个是Python官方提供的基础模块
2.request
是第三方的包，功能更加强大


urllib2的三种下载网页的方法
1.最简洁的方法
代码如下：
import urllib2
#直接请求
response = urllib2.urlopen('http://www.baidu.com')

#获取状态码,如果是200表示获取成功
print response.getcode()

#读取内容
cont = response.read()


2.添加data和http header 生成一个request对象
代码如下：
import urllib2

#创建request对象
request = urllib2.Request(url)

#添加数据
request.add_data('a','1')

#添加http header
request.add_header('User-Agent','Mozilla/5.0')

#发送请求获取结果
response = urllib2.urlopen(request)


3.添加特殊场景的处理器
例如 一些需要登录的cookie操作 使用HTTPCookieProcessor
     需要代理访问的网页  使用ProxyHandler
     HTTPS协议保护的     使用HTTPSHandler
     一些直接跳转的页面   使用 HTTPRedirectHandler
     等等
    
代码举例 实现处理cookie的

import urllib2,cookielib

#创建一个cookie容器
cj = cookielib.CookieJar()

#创建一个opener
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))

#给urllib2安装opener
urllib2.install_opener(opener)

#使用带有cookie的urllib2访问网页
response = urllib2.urlopen('http://www.baidu.com/')