前言
Python写爬虫时,运行遇到错误UnicodeEncodeError: ‘latin-1’ codec can’t encode characters in position 35-38: ordinal not in range(256),最后费了九牛二虎之力才弄好,这里分享下解决办法
报错原因
是因为url格式不合法(如包含汉字,空格等不合法字符)
再拓展些
URL对于不合法字符编码的方式是把不合法字符转化为 %xx 的形式。通常 URL 编码是基于 UTF-8
本文为csdn_c2所作,禁止转载
的(当然这和浏览器平台有关)。 例子: 比如『我』,unicode 为 0x6211, UTF-8 编码为 0xE6 0x88
0x91,URL 编码就是 %E6%88%91
urllib.parse中提供了quote方法,来把不合法字符转化,语法格式是这样的:
urllib.parse.quote(文本)
解决方法
只要在代码中贴上两行:
from urllib.parse import quote
quote(文本)
如把‘我’转化成url编码:
from urllib.parse import quote
quote('我')
本文为csdn_c2所作,禁止转载