Python爬虫 处理 URL 编码

URL 链接只能包含ASCII字符，如果有中文等非ascii 字符，就要先编码，例如

https://www.ershicimi.com/search?q=程序员

浏览器最自动转换成：

https://www.ershicimi.com/search?q=%E7%A8%8B%E5%BA%8F%E5%91%98

在Python中，如将转换呢？ 可以使用 urllib.parse 模块中的方法 quote

import urllib.parse
urllib.parse.quote("https://www.ershicimi.com/search?q=程序员")
'https%3A//www.ershicimi.com/search%3Fq%3D%E7%A8%8B%E5%BA%8F%E5%91%98'
默认是用 UTF-8 编码进行转换， 因为“程序员”三个字对应的 UTF8 编码是 e7a88b e5ba8f e59198 

反过来，如果要将URL解码，可以使用 unquote 方法

url = 'https%3A//www.ershicimi.com/search%3Fq%3D%E7%A8%8B%E5%BA%8F%E5%91%98'
urllib.parse.unquote(url)
'https://www.ershicimi.com/search?q=程序员'
当然，编码和解码的过程中，是可以自己指定编码格式的，例如你要使用GBK来编码就更短些。

urllib.parse.quote("https://www.ershicimi.com/search?q=程序员", encoding='gbk')
'https%3A//www.ershicimi.com/search%3Fq%3D%B3%CC%D0%F2%D4%B1'