python补充urllib教程_Python爬虫之urllib基础用法教程

综述

本系列文档用于对Python爬虫技术进行简单的教程讲解，巩固自己技术知识的同时，万一一不小心又正好对你有用那就更好了。

Python 版本是3.7.4

urllib库介绍

它是 Python 内置的HTTP请求库，也就是说我们不需要额外安装即可使用，它包含四个模块(主要对前三个模块进行学习)：

request : 它是最基本的 HTTP 请求模块，我们可以用它来模拟发送一请求，就像在浏览器里输入网址然后敲击回车一样，只需要给库方法传入 URL 还有额外的参数，就可以模拟实现这个过程了。

error : 异常处理模块，如果出现请求错误，我们可以捕获这些异常，然后进行重试或其他操作保证程序不会意外终止。

parse : 用于解析URL，提供了许多URL处理方法，比如拆分、解析、合并等等的方法，以及对参数的拼接等待。

robotparser : 主要是用来识别网站的robots.txt协议文件，然后判断网站的那些数据可以爬，哪些数据不可以爬的，其实用的比较少。

urllib.request 介绍

urlopen()

1.参数说明(仅写了四个最常用的参数)

url : 爬取目标的URL；

data : 请求参数，如果设置该参数，则请求默认为post请求；没有默认为get请求；

timeout : 用于设置超时时间，单位为秒；

context : 必须是一个ssl.SSLContext类型,用来指定SSL设置,忽略未认证的CA证书;

2.具体用法

GET 请求方式

# 导入urllib库

import urllib.request

# 向指定的url发送请求，并返回服务器响应的类文件对象

url = "http://www.baidu.com"

response = urllib.request.urlopen(url=url)

print(type(response))

# 类文件对象支持文件对象的操作方法，如read()方法读取文件全部内容，返回字符串

html = response.read()

# html = response.readline() # 读取一行

# html = response.readlines() # 读取多行，返回列表

# 打印响应结果(byte类型)

print(html)

# 打印响应结果(utf-8类型)

# 二进制和字符串之间的相互转码使用 encode() 和 decode() 函数

# encode() 和 decode() 可带参数，不写默认utf-8，其他不再特别说明

print(html.decode())

# 打印状态码

# print(response.get_code())

print(response.status)

# 获取响应头

print(response.getheaders())

# 获取响应头Server信息

print(response.getheader('Server'))

# 获取响应结果原因

print(response.reason)

POST 请求方式

# 导入urllib库

import urllib.parse

import urllib.request

# 向指定的url发送请求，并返回

post_url = 'https://fanyi.baidu.com/sug'

# 传入参数

form_data = {

'kw': 'honey'

}

# 格式化参数

form_data = urllib.parse.urlencode(form_data).encode()

response = urllib.request.urlopen(url=post_url, data=form_data)

# 打印服务器响应的类文件对象

print(type(response))

# 类文件对象支持文件对象的操作方法，如read()方法读取文件全部内容，返回字符串

html = response.read()

# 打印响应结果(byte类型)

print(html)

# 打印响应结果(utf-8类型)

print(html.decode())

# 打印状态码

print(response.status)

# print(response.getcode())

# 获取响应头

print(response.getheaders())

# 获取响应头Server信息

print(response.getheader('Server'))

# 获取响应结果原因

print(response.reason)

urlretrleve()

1.参数说明

url : 下载链接地址；

filename : 指定保存本地路径(如果参数未指定，urllib会生成一个临时文件保存数据)；

reporthook : 是一个回调函数，当连接上服务器、以及相应的数据块传输完毕时会触发该回调，我们可以利用这个回调函数来显示当前的下载进度；

data : 指post导服务器的数据，该方法返回一个包含两个元素的(filename, headers) 元组，filename 表示保存到本地的路径，header表示服务器的响应头;

2.具体用法

# 引入所需要的库

import os

import urllib.request

# 定义回调函数

def call_back(a, b, c):

"""

图片下载回调

:param a: 已经下载的数据块

:param b: 数据块的大小

:param c: 远程文件的大小

:return:

"""

per = 100.0 * a * b / c

if per > 100:

per = 100

print('%.2f%%' % per)

# 定义下下载的地址

url = 'http://www.baidu.com'

# 构造文件保存路径

path = os.path.abspath('.')

file_path = os.path.join(path, 'baidu.html')

# 进行下载

urllib.request.urlretrieve(url, file_path, call_back)

urllib.parse 介绍

urlencode()

1.参数说明

query : url参数，可以是字符串，也可以是字典；

encoding : 编码方式；

2.具体用法

# 引入所需要的库

import urllib.parse

# 参数数据

data = {

'name': '张三',

'age': 26

}

# 进行编码

ret = urllib.parse.urlencode(data)

print(ret)

parse_s()

1.参数说明

qs : url参数，编码后的字符串；

encoding : 字符方式；

2.具体用法

# 引入所需要的库

import urllib.parse

# 参数数据

data = {

'name': '张三',

'age': 26

}

# 进行编码

ret1 = urllib.parse.urlencode(data)

print(ret1)

# 进行解码

ret2 = urllib.parse.parse_qs(ret1)

print(ret2)

urlparse()

1.参数说明

url : url地址字符串；

2.具体用法

# 引入所需要的库

import urllib.parse

# 声明url

url = "https://www.baidu.com/s?wd=urlparse&rsv_spt=1&rsv_iqid=0x921f00fe005646ef&issp=1&f=8"

# 进行url解析

ret = urllib.parse.urlparse(url)

print(ret)

print('scheme:', ret.scheme) # 协议

print('netloc:', ret.netloc) # 域名服务器

print('path:', ret.path) # 相对路径

print('params:', ret.params) # 路径端参数

print('fragment:', ret.fragment) # 片段

print('query:', ret.query) # 查询

# urlunparse() 与 urlparse() 对应相反函数

# 使用urlparse的格式组合成一个url，可以直接将urlparse的返回传递组合

ret1 = urllib.parse.urlunparse(ret)

print(ret1)

urlsplit()

1.参数说明

url : url地址字符串；

2.具体用法

# 引入所需要的库

import urllib.parse

# 声明url

url = "https://www.baidu.com/s?wd=urlparse&rsv_spt=1&rsv_iqid=0x921f00fe005646ef&issp=1&f=8"

# 进行url解析

ret = urllib.parse.urlsplit(url)

print(ret)

print('scheme:', ret.scheme) # 协议

print('netloc:', ret.netloc) # 域名服务器

print('path:', ret.path) # 相对路径

print('fragment:', ret.fragment) # 片段

print('query:', ret.query) # 查询

# urlunsplit() 与 urlsplit() 对应相反函数

# 使用urlsplit的格式组合成一个url，可以直接将urlsplit的返回传递组合

ret1 = urllib.parse.urlunsplit(ret)

print(ret1)

# 此函数和urlparse函数的区别在于此函数没有params

urljoin()

1.参数说明

qs : url参数，编码后的字符串；

encoding : 字符方式；

2.具体用法

# 引入所需要的库

import urllib.parse

# 声明url

url = "https://www.baidu.com/"

# 参数数据

data = {

'name': '张三',

'age': 26

}

# 格式化参数

data = urllib.parse.urlencode(data)

# 进行url拼接

ret = urllib.parse.urljoin(url, data)

print(ret)

urllib.error 介绍

我们在爬虫的时候发请求的时候难免出现错误，如访问不到服务器或者访问被禁止等等，error分为URLError和HTTPError两类：

1.URLError

没有网

服务器链接失败

找不大指定服务器

2.HTTPError

是URLError的子类

3.两者区别和联系

1).URLError封装的错误信息一般是由网络引起的，包括url错误

2).HTTPError封装的错误信息一般是服务器返回了错误状态码

3).URLError是OSERROR的子类，HTTPError是URLError的子类

4).【注意】两个同时捕获的时候需要将子类放在上面，父类放在下面

用法

# 引入所需要的库

import urllib.error

import urllib.request

# 一个访问异常的url

url = 'https://www.mz.com/156427/100'

# 捕获异常

try:

ret = urllib.request.urlopen(url)

print(ret)

except urllib.error.HTTPError as e:

print(e.getcode())

except urllib.error.URLError as e:

print(e)

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持聚米学院。