python_轻量级爬虫开发2

网页下载器：

Python有哪几种网页下载器？

urllib2 ：Python官方基础模块

request ： 第三方包更强大

urllib2下载网页方法1：最简洁方法

url      = >        urllib2.urlopen(url)

# coding=utf-8
import urllib2

#直接请求
response = urllib2.urlopen('http://www.baidu.com')
#获取状态码
print response.getcode()
#读取内容
count = response.read()
print count

urllib2下载网页方法2:添加data，http header

简单的来说就是操作http层通信报头，报文。

urllib2下载网页方法3：添加特殊情景的处理器

HTTPCookieProcessor:有些网页需要用户登录才能处理，我们用HTTPCookieProcess

ProxyHandler:有些网页需要代理才能访问，我们用ProxyHandler

HTTPSHandler:有些网页是加密的https协议，我们使用HTTPSHandler

HTTPRedirectHandler:有些网页URL是自动的调整关系，我们使用HTTPRedirectHandler

# coding=utf-8
import urllib2,cookielib

#创建cookie容器
cj = cookielib.CookieJar()

#创建一个opener
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))

#给urllib2安装opener
urllib2.install_opener(opener)

#使用带有cookie的urllib2访问网页
response = urllib2.urlopen("http://www.baidu.com")

print response.read()