python网络爬虫入门之URL编码模块

URL地址编码模块

为什么要给地址 编码

我们在浏览器里面输入查询参数时浏览器会自动给我们进行编码,当我们用爬虫程序进行获取内容时浏览器识别不了我们所输入的内容,所以就要编码

作用

给URL地址中查询参数进行编码

编码前：https://www.baidu.com/s?wd=美女
编码后：https://www.baidu.com/s?wd=%E7%BE%8E%E5%A5%B3

比如我们在浏览器里输入“美女”浏览器自动给我们生成%e7%be%8e%e5%a5%b3如下图

常用方法

urlencode()

url中一个查询参数

**查询参数：{'wd' : '美女'}**
**urlencode编码后：'wd=%e7%be%8e%e5%a5%b3'**

​ URL地址中 多个 查询参数

from urllib import parse
query_string_dict = {
	'wd' : '美女',
	'pn' : '50’
	}

quote(string)编码

示例1

from urllib import parse

string = '美女'
print(parse.quote(string))
# 结果: %E7%BE%8E%E5%A5%B3

unquote(string)解码

示例

from urllib import parse

string = '%E7%BE%8E%E5%A5%B3'
result = parse.unquote(string)
print(result)

下次给大家展示爬取猫眼电影的实例欢迎大家关注留言评论