python打开网页时遇见UnicodeEncodeError异常

背景

在运行一个用python2写的知识图谱项目时，在进行到里面获取百度百科数据时，报了编码异常错误

UnicodeEncodeError: 'ascii' codec can't encode characters in position 10-13: ordinal not in range(...)

解决方法

不要用urllib.request或urllib2来请求，换成requests，如下

import requests

data = requests.request(url=url, headers=headers, method="GET").content

其中的headers为字典，可定义如下

headers = {
    "user-agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.22 Safari/537.36 SE 2.X MetaSr 1.0"
}

结语

python3和python2的差别还是很大，比如urllib2直接没了，可以直接用requests，在运行一些python2的项目时要注意，或者python2和python3都装起来也是可以。