我们在输入关键词进行爬取时,如果输入的是英文或者数字,通常都没有什么问题,但如果输入的是中文,因为编码的问题,通常会出现无法解码的错误。比如
我们的关键词输入的是“风险”,但实际显示是KW后面的代码确实%B7%E7%CF%D5,所以如果我们想要进行中文的搜索,就需要对中文进行转换,通常需要用到urllib模块
代码如下:
import urllib.parse
#Html代码中文转代码,和代码转中文
ss1 ='%B7%E7%CF%D5'
print(urllib.parse.unquote(ss1, encoding='gbk')) #输出结果为‘风险’
ss2 ='风险'
print(urllib.parse.quote(ss2,encoding='gbk')) #输出结果为%B7%E7%CF%D5
需要注意的是,导入的是urllib.parse,而不是urllib