python乱码UnicodeEncodeError，很多时候是表情包作怪！python清除过滤emoji表情包神器！

最新推荐文章于 2024-08-02 20:00:29 发布
最新推荐文章于 2024-08-02 20:00:29 发布
阅读量5.2k 收藏 12
点赞数 6
分类专栏： python常用库 文章标签： UnicodeEncodeError python清除过滤emoji python清除emoji python过滤emoji
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ymd8005/article/details/80708612
版权

做爬虫，经常回碰到乱码问题，经常性弄得头痛不已，看看这长长的一串串replace就无语


老是报错：

UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-21: ordi
nal not in range(128)

生气！

后来发现，发现这问题的原因是:UTF-8编码中文的字节通常是3-4字节，Emoji表情是4字节，读写数据库稍不留神就报错！

哈哈哈哈哈哈发现问题就简单了，目前我们文本分析不需要分析表情包，我决定把它们都删了！


然后：emoji官网，https://pypi.org/project/emoji/（靠谱的emoji处理库）

安装 pip install emoji

官方例子如下：


清除命令：

emoji.demojize(str)

结果如下：



hhhhhh

success！

ymd8005
关注
专栏目录
Python3 requests post 中文乱码 UnicodeEncodeError: ‘latin-1‘ codec can`t encode characters in ……
拉灯的小手的博客
02-23 4万+
本文仅供学习交流使用，如侵立删！联系方式及demo下载见文末 requests post 中文乱码 UnicodeEncodeError: 'latin-1' ...... 在使用response.post发送带中文的json数据时，出现如题所示错误，是因为编码问题 解决方法： 先编码成bytes（utf-8）格式再解码为latin1 import requests data = '中文' data = data.encode("utf-8").decode("latin1") requests.
emoji编码与对应的文本表示(python)
12-07
找了好久的emoji表情编码到其英文文本表示，可以用来处理表情
python乱码问题一览
相国大人
05-02 964
首先，你应该尽可能使用python3.x，基本上不会遇到乱码问题 在使用pyhton2.x时，乱码问题总结如下： 以上这些是常见的python乱码问题 下面是获取网页数据存入数据库（mysql）时，也会出现的乱码问题，主要是网页上可能有一些emoji表情。 这时候，最好把数据库和python代码编码格式设置为utf-bmp64
python表情符号编码大全_Emoji的编码以及常见问题处理
weixin_39702559的博客
12-16 1531
我在虎嗅上看过一篇关于Emoji的趣闻, 特别有意思, 在这里跟大家分享一下。里面提到了Emoji是怎么诞生的。1999年前后，日本一个名叫栗田穰崇的年轻人，和许多直男一样， 给女友发的短信经常会被误解。比如，“知道了”被解读成“生气了”、“不耐烦了”，随后引发冷战。 于是少年栗田想：“如果能在文字里插入一些表情符号来表达感情，大家应该会需要吧！”原始的Emoji就这么诞生了。Emoji极大地丰富...
深入解析Python中的Unicode编码问题：UnicodeEncodeError错误详解
PythonWeb实践
05-20 936
ASCII（American Standard Code for Information Interchange）是美国信息交换标准代码，它是一个7位的字符编码标准，可以表示128个字符，包括英文字母、数字、标点符号和控制字符。Unicode是一个国际标准，旨在为世界上所有的书写系统提供一个唯一的数字编码。它能够表示超过100,000个字符，涵盖了世界上大多数的书写系统。
Python语言text2emotion包UNICODE_EMOJI问题解决（text2emotion情绪分析的使用与问题解决）
qq_49714722的博客
04-08 842
Python语言text2emotion包UNICODE_EMOJI问题解决（text2emotion情绪分析的使用与问题解决）
解决python3 网络请求路径包含中文的问题
09-20
在早期的Python 2中，开发者很少会注意到这个问题，因为在请求时，浏览器能自动处理URL中的中文字符，将其转换为URL编码。然而，在Python 3中，这一自动转换的行为不再默认发生，因此开发者必须在代码中手动进行处理...
Python UnicodeEncodeError: ‘gbk’ codec can’t encode character 解决方法
12-25
使用Python写文件的时候，或者将网络数据流写入到本地文件的时候，大部分情况下会遇到：UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\xa0’ in position … 这个问题。 网络上有很多类似的文件...
Python UnicodeEncodeError: 'gbk' codec can't encode character 解决方法
09-22
在使用Python进行文件操作或处理网络数据流时，经常会遇到UnicodeEncodeError的编码问题，尤其在Windows操作系统下编写脚本时，编码问题更为严重。当尝试将网络数据流（如网页内容）写入到本地文件时，经常会遇到...
Python发起请求提示UnicodeEncodeError错误代码解决方法
09-17
在Python编程中，UnicodeEncodeError通常发生在尝试将包含非ASCII字符（如中文、日文等）的Unicode字符串编码成特定的字节编码格式时，而该格式无法处理这些字符。在给定的示例中，错误信息指出Body ('测试') 不能被...
Python处理emoji(微信表情等）
11-22
在遇到带有emoji 的字符串时，使用该方法可以去掉字符串中的emoji表情，或者自行添加处理做其他扩展。
pytest-emoji：pytest插件，可将表情符号添加到测试结果报告中
02-05
pytest表情符号 一个pytest插件，可将表情符号添加到您的测试结果报告中 :smiling_face_with_heart-eyes: pytest pytest是由蓬勃发展的志愿者社区开发的成熟的Python测试框架。 它使用简单的断言语句和常规的Python比较。 使用pytest编写测试几乎不需要样板代码，强大的功能可以轻松实现参数化和智能的测试选择。 pytest有数百个可用的插件，您可以使用它们扩展和自定义测试工具。 pytest是根据MIT许可的条款分发的免费和开源软件。 查看如果尚未安装）以及尚未出售的产品，请安装此插件。 也许这会让您有动力编写更多测试！ :beaming_face_with_smiling_eyes: 这个pytest插件是由以及 模板生成的。 :cookie: 安装 p
python解决微信登录昵称中带有表情emoji报错，亲测有效。
qq_41371858的博客
11-07 1907
直接上解决方法： 安装这个库 pip install emoji import emoji a = "çç¾SunShineð»" print(a) b = emoji.demojize(a.encode('iso-8859-1').decode('utf-8')) print(b) print(emoji.emojize(b)) 这是输出信息： çç¾SunShineð...
python 删除爬虫里无法识别的表情字符
沉默的鹏先生
08-13 1789
在爬网易云评论的时候发现评论里有很多人发表情，然而python爬取表情后发现无法把表情写入文件里。从而导致异常。后来找到了两种方法判断。 第一种：通过re.sub()删除评论里无法识别的字符串，re.sub有个弊端就是只有第一个表情图片错误的时候能处理，第二个就无法处理了 def character(a): dk = open(r'.\评论.txt', 'w') try: ...
如何解决Python中的UnicodeEncodeError编码错误问题
綦枫Maple的博客
01-15 1万+
前言：我们在初步写python程序时，常常出现编码格式错误的问题，这是由于不同格式的编码方式对相同信息的转化结果不同，当我们使用了不合适的编码方式后，便无法返回正确的结果。博主在使用Pycharm时也遇到了类似的问题，安装好软件打开写好的python程序，提示如下： UnicodeEncodeError: 'ascii' codec can't encode characters in posi
一种别样的Unicode Python编码方式，完美转换表情和阿拉伯语
最新发布
Ztop的博客
08-02 1062
我们可能有时候在处理字符时需要处理到非ASCII的字符，比如将表情、阿拉伯语转换为Unicode字符，从而避免在传输时会出现乱码的情况。
python爬虫文本过滤去除表情符号代码
qq_27661837的博客
01-03 1405
【代码】python爬虫文本过滤去除表情符号代码。
python 表情符号转义，特殊符号转义，过滤四字节字符 表情字符
热门推荐
God丶Davide的博客
01-16 8万+
普通的转义不说了，简单的转义即可 今天碰到了表情付哈入库，很烦，发现一个第三方库，很简单即可将表情字符删除   emoji官网，https://pypi.org/project/emoji/（靠谱的emoji处理库） 安装 pip install emoji 清除命令： emoji.demojize(str)  ...
python从数据库中获取utf8格式的中文数据输出时变成问号或乱码
only_do_IT
06-21 1万+
我用python操作mysql数据库，数据库中数据格式为utf8，我使用python调用select语句后获取到数据库的信息，然后使用print打印出来的时候，原本中文数据却无法显示，显示出来的是一串？，为了解决这个问题，我也是绞尽脑汁啊。     我在网上搜集了很多资料，大家都说是windows默认的格式是'GBK'，输出从mysql数据库中获取到的中文数据时，需要这样写： 假设info是从
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值