今天在爬取“http://news.baidu.com/ns?word=博时杨锐”这个网页的时候,
程序报错:UnicodeEncodeError: 'ascii' codec can't encode characters in position 32-34: ordinal not in range(128)
我以为这是程序编码的问题。
结果根据报错的代码寻找到的结果发现,只有python2.x才会出现这个问题。并且通过函数
import importlib,sys
importlib.reload(sys)
print(sys.getdefaultencoding())
获取我们解释器用的编码确实是utf-8,和网页编码一致
通过单步调试,发现问题出在函数urllib.request.urlopen()
urllib.request.urlopen()打开带有中文的网页会报错。
所以需要先用urllib.parse.quote()对链接中的中文进行处理
root_url = "http://news.baidu.com/ns?cl=2&rn=20&tn=news&word=" + urllib.parse.quote("博时杨睿")
这样,这个问题就解决了。