urllib2下载网页的三种方法

第一种：直接用urllib2.urlopen方法

import urllib2
url="http://www.baidu.com"

print ('NO1')
res1=urllib2.urlopen(url)
print res1.getcode()  #获取成功将返回200
print len(res1.read())

第二种：用request对象，增加http header

print ('NO2')
request=urllib2.Request(url)
request.add_header("user-agent","Mozilla/5.0") #用户代理，伪装为一个浏览器
res2=urllib2.urlopen(url)
print res2.getcode()
print len(res2.read())

第三种：用cookielib模块

import cookielib

print ('NO3') 
cj=cookielib.CookieJar()  #创建一个cookie的容器cj
opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cj)) #利用urllib2库的HTTPCookieProcessor对象来创建cookie处理器;自定义一个opener,并将opener跟CookieJar对象绑定
urllib2.install_opener(opener)#安装opener,此后调用urlopen()时都会使用安装过的opener对象
res3=urllib2.urlopen(url)
print res3.getcode()
print len(res3.read())
print cj

参考：http://cuiqingcai.com/968.html