Python异常UnicodeEncodeError: 'gbk' codec can't encode character '\ufffd'

问题描述

在写爬虫爬取网页信息时,发生了以下错误:

UnicodeEncodeError: 'gbk' codec can't encode character '\ufffd'

意思大致是Unicode编码错误,gbk编解码器不能编码\ufffd字符。

爬虫程序爬取的是课程信息,包含中文。使用requests库访问网页,使用BeautifulSoup库解析网页,用get_text()方法获取标签内的文本信息。

python版本为3.5,在cmd控制台中运行python脚本。

代码大致如下:

import requests
from bs4 import BeautifulSoup

r = requests.get(url,cookies=cookies,headers=headers)
soup = BeautifulSoup(r.text,"lxml")
lesson_data_list = soup.find_all(id="xjs_table")[0].find_all("tr")[1:]
for lesson_data in lesson_data_list:
    td = lesson_data.find_all("td")
    name = td[0].get_text()
    credit = td[1].get_text()
    teacher = td[2].get_text()
    time = td[5].get_text()
    total = td[11].get_text()
    print(name,credit,teacher,time,total)

错误原因

  1. cmd默认编码是GBK,字符\ufffd不能编码为GBK。

  2. 查阅Unicode编码表或者使用Python自带的集成开发环境IDLE(可以输出),可知\ufffd其实是�字符。

  3. Python3的字符串以Unicode编码,也就是解析网页时,需要将字符串从网页原来的编码格式转化为Unicode编码格式。
  4. 出现�字符的原因:从某编码向Unicode编码转化时,如果没有对应的字符,得到的将是Unicode的代码\ufffd,也就是�字符。
  5. 在写爬虫解析网页时出现�字符,往往是因为没有注意原网页的编码格式,全按照默认编码UTF-8转化,导致有的字符转化失败。

在本问题中,是由于在网页上包含这样的中文,由于是生僻字没有相应的UTF-8编码,所以以默认UTF-8编码格式转化为Unicode时,没有对应的字符,转化出错,得到\ufffd。又因为在cmd运行,因此报错UnicodeEncodeError: 'gbk' codec can't encode character '\ufffd'

解决办法

写爬虫解析网页时,要注意原网页的编码格式和压缩格式(Gzip等)

查看原网页的编码格式,为’gb2312’。
这里写图片描述
所以要按照gb2312编码向Unicode编码转化。

r = requests.get(url,cookies=cookies,headers=headers)
# 指定网页的编码格式
r.encoding = 'gbk'
# r.encoding = 'gb2312' 仍然会报错
soup = BeautifulSoup(r.text,"lxml")

最后再次在cmd运行代码,这样的中文也成功显示。

注意:本解决办法适用于与本问题描述完全相同的问题,因为可能是相同的错误原因导致的。其它报错信息可能与本问题的情况不同,比如报错的为‘gbk’ codec can’t encode character ‘\xa0’爬虫在写入文件时报错

以下是问题的逐步分析解决过程。

解决过程

cmd显示编码是GBK,而有些Unicode字符不能编码成GBK

对于Unicode字符,需要print出来的话,由于本地系统是Windows中的cmd,默认codepage是CP936,即GBK的编码,所以python解释器需要先将上述的Unicode字符编码为GBK,然后再在cmd中显示出来。但是由于该Unicode字符串中包含一些GBK中无法显示的字符,导致此时提示'gbk' codec can’t encode的错误的。

分析:这个解释确实符合报错信息'gbk' codec can't encode character '\ufffd'的意思。

验证:编写python代码

print('\ufffd')

在cmd下运行,出现相同的报错信息'gbk' codec can't encode character '\ufffd'

解决办法1:改变标准输出的默认编码

在程序的开始加入以下代码

import sys
import io
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030') 

由于我输出的包含中文,所以使encoding='gb18030',这段代码的作用就是把标准输出的默认编码修改为gb18030,也就是与cmd显示编码GBK相同。

效果:运行原来的爬虫代码后,没有了报错,但原先报错的输出位置显示为??,中文仍没有正确显示。
这里写图片描述
这里写图片描述
而且还有不能即时输出的问题,类似于python爬虫中文输出问题以及不即时输出问题

解决办法2:输出时忽略无法编码的字符

在对Unicode字符编码时,添加ignore参数,可以忽略无法编码的字符

print 你的字符串.encode(“GBK“, ‘ignore’).decode

这句代码的作用为,把字符串以GBK编码,并忽略无法编码的字符,再以GBK解码,再输出。

效果:在解决办法1的效果基础上,??不再显示,但中文仍没有正确显示。
这里写图片描述
这里写图片描述
总结:由于\ufffd本身就没有对应的Unicode编码,所以要在cmd中不报错输出,只能把输出编码改为GBK或者在输出时忽略无法编码的字符,这样就算可以不报错输出,也不能正确显示\ufffd字符。

使用Python自带的集成开发环境IDLE

cmd的显示编码是GBK,要想正确显示\ufffd字符,就要使用支持多种输出编码的运行环境。Python自带的集成开发环境IDLE就对GBK、UTF-8、Unicode都支持。其实,Pycharm、jupyter notebook、sublimeREPL配置的python运行环境也支持多种输出编码。

IDLE打开方法:在python的安装目录下,打开lib/idlelib/idle.bat,就进入了IDLE环境

运行代码

print('\ufffd')

输出为: �
这里写图片描述
看到�这个结果,开始以为仍没有正确显示。但查询Unicode字符表,发现�字符的Unicode的值正是fffd。说明\ufffd字符已经正确显示了。
这里写图片描述

进一步分析

以上分析的原因和解决办法都是从最后显示输出的角度去考虑的,虽然一些方法不再报错,但仍然显示不正确,并没有真正解决。然后在IDLE中正确显示了字符,证明了\ufffd就是�字符。

从以上解决办法可以进一步验证和推测一些问题:

问题

  1. 本来应该显示的汉字是什么
  2. �是从哪来的

推测

对照原网页,发现是字没有正确显示,而变成了\fffd�字符。这说明从一开始解析网页,就被解析成了�字符。

验证

如果从报错信息找问题,报错原因是部分Unicode字符不能正确转码成GBK,所以无法显示。根据推测,原网页上的字没有正确显示,而运行以下代码:

str = '珺玥'
str = str.encode('unicode_escape')
print(str)
# 输出 b'\\u73fa\\u73a5'

可知的Unicode分别为73fa73a5。而不是fffd

经验证,print('\u73a5')是可以输出的字的。这说明并不是的Unicode转码为gbk失败,而是解析得到的Unicode都不正确,变成了\ufffd�字符。

使用爬虫 �作为关键字搜索,就找到了出现�字符的原因:

从某编码向Unicode编码转化时,如果没有对应的字符,得到的将是Unicode的代码“\uffffd”,也就是�这个字符。这个是你的爬虫根本不识别原网页的编码格式(ASCII或者GB2312等)和压缩格式(Gzip等),全都无脑转成UTF-8字符串导致的,出现这个字符说明转换失败,数据已经丢失了,这个字符本身并没什么实际意义。

出自链接:在处理一些爬下来的网页时,经常发现会存在�这个字符

最终解决

在进一步分析后,重新检查解析过程,显然是编码问题。

最后发现确实是因为没有注意到网页编码问题,网页编码是gb2312,而用requests请求的网页,如果不声明encoding值,默认是用UTF-8解析的。UTF-8编码支持大部分中文字,但不支持这样的生僻字,这样转成UTF-8就转化失败。
这里写图片描述

原网页的编码格式为’gb2312’

所以要按照gb2312编码向Unicode编码转化:

r = requests.get(url,cookies=cookies,headers=headers)
# 指定网页的编码格式
r.encoding = 'gbk'
# r.encoding = 'gb2312' 仍然会报错
soup = BeautifulSoup(r.text,"lxml")

最后再次在cmd运行代码,这样的中文也成功显示。

最终总结,是由于在网页上包含这样的中文,由于是生僻字没有相应的UTF-8编码,所以以默认UTF-8编码格式转化为Unicode时,没有对应的字符,转化出错,得到\ufffd。又因为在cmd运行,因此报错UnicodeEncodeError: 'gbk' codec can't encode character '\ufffd'

参考链接

彻底搞懂 python 中文乱码问题

在处理一些爬下来的网页时,经常发现会存在�这个字符

Unicode字符表

输出时忽略无法编码的字符

修改标准输出的默认编码

爬虫在写入文件时报错

python爬虫中文输出问题以及不即时输出问题

  • 14
    点赞
  • 55
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
这个错误通常发生在使用'gbk'编码器时,尝试编码一个无效的多字节序列字符。根据引用和引用的描述,这个错误可以通过将文件的编码更改为'UTF-8'来解决。这可以在编辑器中修改项目的编码设置来实现。这样做后,再次运行代码即可避免此错误的发生。123 #### 引用[.reference_title] - *1* [UnicodeEncodeError: ‘gbkcodec can‘t encode character ‘\xa9‘ in position 6870: illegal ...](https://blog.csdn.net/qq_37077573/article/details/123146044)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}} ] [.reference_item] - *2* [解决python UnicodeEncodeError: ‘gbkcodec can‘t encode character ‘\xb5‘ in position 255: ...](https://blog.csdn.net/m0_57781407/article/details/124415725)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}} ] [.reference_item] - *3* [UnicodeEncodeError: 'gbk' codec can't encode character](https://blog.csdn.net/Jasmine_2018/article/details/78845830)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值