python 问题Some characters could not be decoded, and were replaced with REPLACEMENT CHARACTER.

参考链接:
(1)https://www.cnblogs.com/HANYI7399/p/6080070.html
(2)https://blog.csdn.net/weixin_30780649/article/details/99231980

写爬虫的时候,反复遇到这个问题(其实是个warning):Some characters could not be decoded, and were replaced with REPLACEMENT CHARACTER.
这是什么东东?

在这里插入图片描述
问题其实出现在这一句(from_encoding一句是后来加上去的,一般是from_encoding="iso-8859-1"或者from_encoding="gbk"或者from_encoding="utf-8"或者from_encoding=“gb2312”)

在这里插入图片描述
也就是说在使用BeautifulSoup解析爬取的网页时,出现了一些非utf-8或其他的字符,导致解析的时候warning(就是上述提及的错误)。

参考链接的解释:在极少数情况下(通常当UTF-8文档包含以完全不同的编码编写的文本时),获取Unicode的唯一方法是使用特殊的Unicode字符“REPLACEMENT CHARACTER”(U + FFFD)替换某些字符。 如果是Unicode,Dammit需要这样做,它将在UnicodeDammit或BeautifulSoup对象上将.contains_replacement_characters属性设置为True。 这让您知道Unicode表示不是原始的精确表示 - 一些数据丢失。 如果文档包含 ,但是.contains_replacement_characters为False,那么您将知道 原来是存在的,并且不代表缺少的数据。

解决:soup=BeautifulSoup(urllib.request.urlopen(url_path),"“html.parser”,from_encoding=“iso-8859-1”)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值