爬虫urllib的学习

urllib的学习

学习目标

了解urllib的基本使用

---

1 urllib介绍

除了requests模块可以发送请求之外, urllib模块也可以实现请求的发送,只是操作方法略有不同!

urllib在python中分为urllib和urllib2，在python3中为urllib

下面以python3的urllib为例进行讲解

2 urllib的基本方法介绍

2.1 urllib.urlopoen

传入URL地址

import urllib.request
response = urllib.request.urlopen("http://www.baidu.com")
print(resp.read())

2.2 urllib.Request

1. 构造简单请求

    import urllib.request
    #构造请求
    request = urllib.request.Request("http://www.baidu.com")
    #发送请求获取响应
    response = urllib.request.urlopen(request)
    print(resp.read())
   

2. 传入headers参数

    import urllib.request
    #构造headers
    headers = {"User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)"} 
    #构造请求
    request = urllib.request.Request(url, headers = headers)
    #发送请求
    response = urllib.request.urlopen(request)
    print(resp.read())
   

3. 传入data参数 实现发送post请求

    import urllib.request
    import urllib.parse
   
    headers = {"User-Agent": "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)"}
    # 构造请求数据字典
    data = {"email":"mr_mao_hacker@163.com", "password":"alarmchime"}
    # 对请求数据字典编码为bytes类型
    data = urllib.parse.urlencode(data).encode('utf-8')
    # 构造请求
    request = urllib.request.Request('http://www.renren.com/PLogin.do', data=data, headers=headers)
    # 发送请求获取响应
    resp = urllib.request.urlopen(request)
    # 获取响应的文本内容
    print(resp.read())
   

2.3 response.read()

获取响应的html字符串,bytes类型

import urllib.request
#构造请求
request = urllib.request.Request("http://www.baidu.com")
#发送请求获取响应
response = urllib.request.urlopen(request)
# 打印响应的文本内容 bytes类型
print(resp.read())
# 打印响应的文本内容 str类型
print(resp.read().decode())

---

小结

1. urllib.request中实现了构造请求和发送请求的方法
2. urllib.request.Request(url,headers,data)能够构造请求
3. urllib.request.urlopen能够接受request请求或者url地址发送请求，获取响应
4. urllib.parse.urlencode(data_dict).encode('utf-8')之后才能传入data参数
5. response.read()能够实现获取响应中的bytes字符串