python 实现爬虫下载网页的方法

 

第一种下载网页方法
import urllib2
#直接请求
response = urllib2.urlopen("http://www.baidu.com/")
#读取内容
cont= response.read()
#获取状态码，返回200表示成功
print response.getcode()

第二种下载网页方法
import urllib2
response = urllib2.Request(url)
#添加数据
request.add_date('a','1')
#添加http的header
request.add_header('User-Agent','Mozilla/5.0')
#发送请求获取结果
response = urllib2.urlopen(request)

第三种下载网页方法（特殊场景、例如需要登录）
import urllib2，cookielib

#创建cookie容器
cj = cookielib.CookieJar()

#创建一个opener
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))

#给urllib2安装opener
urllib2.install_opener(opener)

#使用带cookie的urllib2访问网页
response = urllib2.urlopen("http://www.baidu.com/")

转载于:https://www.cnblogs.com/kanbudong/p/5903161.html