在写一个用BeautifulSoup抓取twitter网页时遇到的问题
# UnicodeEncodeError: 'gbk' codec can't encode character u'\xa0' in position 148:
# illegal multibyte sequence
这样说:
(1)出现UnicodeEncodeError –> 说明是Unicode编码时候的问题;
(2) ‘gbk’ codec can’t encode character –> 说明是将Unicode字符编码为GBK时候出现的问题;
此时,往往最大的可能就是,本身Unicode类型的字符中,包含了一些无法转换为GBK编码的一些字符。
unicode中的‘\xa0’字符在转换成gbk编码时会出现问题,gbk无法转换'\xa0'字符。
所以,在转换的时候必需进行一些前置动作:
string.replace(u'\xa0', u' ')
将'\xa0‘替换成u' '空格。
试了一下这个,之后问题解决。