python爬虫的urllib2库的使用

环境： python2

备注：在python2中叫做urllib2，在python3中使用的是urllib.request，和前面urllib2的使用方法一样的

1----urllib2的最简单使用

# -*- coding=utf-8 -*-
# 直接这样使用的时候，urllib2不支持构造request

import urllib2

response = urllib2.urlopen("http://www.baidu.com")

html = response.read()
# 返回响应页面
print(html)
# 返回响应码
code = response.getcode()

print(code)
# 返回的是返回真实数据的url（如果返回数据的url被重定向的话，可从这里获取到真实的url信息）
url = response.geturl()

print(url)
# 返回的是响应的报头信息
info = response.info()

print(info)

2-urllib2的正确使用方式

# -*- coding=utf-8 -*-
# 这样使用可以构造其他请求头信息，如User-Agent
import urllib2

# 构造headers
headers = {
    "User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1"}

resquest = urllib2.Request("http://www.baidu.com/", headers=headers)

response = urllib2.urlopen(resquest)

html = response.read()
print(html)

code = response.getcode()
print(code)

url = response.geturl()
print(url)

info = response.info()
print(info)