爬虫（五）urllib

1 urllib介绍

除了requests模块可以发送请求之外, urllib模块也可以实现请求的发送,只是操作方法略有不同!

urllib在python中分为urllib和urllib2，在python3中为urllib。

下面以python3的urllib为例进行讲解。

 

2 urllib的基本方法介绍

2.1 urllib.urlopoen

1. 传入URL地址

    response = urllib.urlopen("http://www.baidu.com")
   

2. 传入request对象

2.2 urllib.Request

1. 构造简单请求

    #构造请求
    request = urllib.request.Request("http://www.baidu.com")
    #发送请求获取响应
    response = urllib.request.urlopen(request)
   

2. 传入headers参数

    #构造headers
    headers = {"User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)"} 
    #构造请求
    request = urllib.request.Request(url, headers = headers)
    #发送请求
    response = urllib.request.urlopen(request)
   

3. 传入data参数 实现发送post请求

    #构造headers
    headers={"User-Agent": "Mozilla...."}
    #构造请求体
    formdata = {
        "type":"AUTO",
        "i":"i love python",
        "doctype":"json",
    }
    #构造请求
    request = urllib.request.Request(url, data = data, headers = headers)
    #构造请求
    response = urllib.request.urlopen(request)
    print(response.read())
   

2.3 response.read()

获取响应的html字符串,bytes类型

#发送请求
response = urllib.urlopen("http://www.baidu.com")
#获取响应
response.read()

3 urllib请求百度首页的完整例子

# coding=utf-8
import urllib

url = 'http://www.baidu.com'
#构造headers
headers = {"User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)"}
#构造请求
request = urllib.request.Request(url, headers = headers)
#发送请求
response = urllib.request.urlopen(request)
#获取html字符串
html_str = response.read().decode()
print(html_str)

4 小结

1. urllib.request中实现了构造请求和发送请求的方法
2. urllib.request.Request(url,headers,data)能够构造请求
3. urllib.request.urlopen能够接受request请求或者url地址发送请求，获取响应
4. response.read()能够实现获取响应中的bytes字符串