urllib模块

1. urllib模块

1.1 urllib简介

urllib 是 Python3 中自带的 HTTP 请求库，无需复杂的安装过程即可正常使用，十分适合爬虫入门

urllib 中包含四个模块，分别是：

request：请求处理模块

parse：URL 处理模块

error：异常处理模块

robotparser：robots.txt 解析模块

1.2 urllib使用

1.2.1 request 模块

request模块是urllib中最重要的一个模块，一般用于发送请求和接收响应

（1）urlopen 方法

1. urllib.request.urlopen()

urlopen 方法无疑是 request 模块中最常用的方法之一，常见的参数说明如下：

url：必填，字符串，指定目标网站的 URL

data：指定表单数据

　　该参数默认为 None，此时urllib使用GET方法发送请求

　　当给参数赋值后，urllib使用POST方法发送请求，并在该参数中携带表单信息（bytes 类型）

timeout：可选参数，用来指定等待时间，若超过指定时间还没获得响应，则抛出一个异常

　　该方法始终返回一个HTTPResponse对象，HTTPResponse对象常见的属性和方法如下：

geturl()：返回 URL

getcode()：返回状态码

getheaders()：返回全部响应头信息

getheader(header)：返回指定响应头信息

read()：返回响应体（bytes 类型），通常需要使用decode('utf-8')将其转化为str类型

1. import urllib.request
2.  
3. def load_data():
4. url = "http://www.baidu.com/"
5. #get的请求
6. #http请求
7. #response:http相应的对象
8. response = urllib.request.urlopen(url)
9. #