文本四字节unicode解析出错

最新推荐文章于 2024-07-08 00:01:13 发布
最新推荐文章于 2024-07-08 00:01:13 发布
阅读量754 收藏
点赞数
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28632981/article/details/132717884
版权

case：

ℳ𝒶𝓀ℯ 𝓎ℴ𝓊 𝓈𝒶𝒻ℯ 𝒾𝓃 𝒶𝓃 𝓊𝓃𝓀𝓃ℴ𝓌𝓃 𝒸ℴ𝓇𝓃.

unicode：

b’\u2133\U0001d4b6\U0001d4c0\u212f \U0001d4ce\u2134\U0001d4ca \U0001d4c8\U0001d4b6\U0001d4bb\u212f \U0001d4be\U0001d4c3 \U0001d4b6\U0001d4c3 \U0001d4ca\U0001d4c3\U0001d4c0\U0001d4c3\u2134\U0001d4cc\U0001d4c3 \U0001d4b8\u2134\U0001d4c7\U0001d4c3’

utf8：

b’\xe2\x84\xb3\xf0\x9d\x92\xb6\xf0\x9d\x93\x80\xe2\x84\xaf \xf0\x9d\x93\x8e\xe2\x84\xb4\xf0\x9d\x93\x8a \xf0\x9d\x93\x88\xf0\x9d\x92\xb6\xf0\x9d\x92\xbb\xe2\x84\xaf \xf0\x9d\x92\xbe\xf0\x9d\x93\x83 \xf0\x9d\x92\xb6\xf0\x9d\x93\x83 \xf0\x9d\x93\x8a\xf0\x9d\x93\x83\xf0\x9d\x93\x80\xf0\x9d\x93\x83\xe2\x84\xb4\xf0\x9d\x93\x8c\xf0\x9d\x93\x83 \xf0\x9d\x92\xb8\xe2\x84\xb4\xf0\x9d\x93\x87\xf0\x9d\x93\x83’

问题

微博中包含4字节unicode字符，导致后端存储相关数据解析出错

资料

https://www.unicode.org/charts/PDF/
https://www.unicode.org/charts/PDF/U1D400.pdf

胖虎一号
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python2解析4字节unicode出错该如何解决?
HK的博客
07-09 477
问题引子 在处理文本输入的时候, 当我想用Python自带的decode和encode去解析unicode的时候, 通常来讲除去编码不对, 正常来讲是可以解析的, 并且会返回一个正确的utf8字节串 s = u'龙'.encode('utf8') # s : '\xe9\xbe\x99' 但是当我们处理4字节的unicode字符的时候, 就会返回不正确的结果, 而且返回的字节数量竟然是2. 这里明显是解析错误了 s = u'????'.encode('utf8') #s : '??' len(s) # 2
Java五道输出易错题解析（进来挑战下）.pdf
07-05
本文将解析五个容易出错的Java输出题目，并深入探讨相关的知识点。 1. 零宽度空格问题 在第一个题目中，看似正常的`Integer.parseInt("2")`方法调用在运行时抛出了`NumberFormatException`。原因是字符串"2"前存在...
Access:collating sort order SortOrder[2052(0)]
weixin_34066347的博客
10-26 3573
使用java连接Access数据库(jdk1.8,Access2016)的时候,进行新增操作,如果value值有中文,会报以下错误信息：java.lang.UnsupportedOperationException: Cannot write indexes of this type due to unsupported collating sort order SortOrder[2052(0...
C++多字节与Unicode之间的转化
cchao985771161的博客
02-26 1896
Unicode Unicode（统一码、万国码、单一码）是计算机科学领域里的一项业界标准，包括字符集、编码方案等。Unicode 是为了解决传统的字符编码方案的局限而产生的，它为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。 char数据类型 C程序中使用char数据类型来定义和存储字符和字符串 下面的声明定义和初始化一个包含单一字符的变量： c...
Java解析富文本rtf中文乱码
dylwildwolf的专栏
08-13 4906
最近做个项目，数据库存储了别的项目获取的含有中文的富文本格式字符串，这边要求转成中文进行处理，所以研究了一下，项目实施后也遇到了几个问题，在这里分享一下，本文主要关注如何将富文本中的中文正确解析出来： 主要解决问题： 1 如何解析富文本中的中文； 2 特殊的富文本格式怎么处理； 3 解析出现中文乱码怎么应对（不是编码格式原因造成的）； 问题3参考https://www.dazhuanlan.com/2019/08/16/5d55fcd632b0f/ 富文本：缩写问rtf,是一种标准。会以特定的符
【文本处理】无法解析的CSV文件
乱码奇糟
07-27 273
BOM是一个Magic Number，它告诉文本处理程序有关文本编码的信息，但是处理不好就会造成难以Debug的问题
《流畅的Python第二版》读书笔记——文本和字节序列
日积月累，天道酬勤
09-28 1061
主要讨论 Unicode 字符串、字节序列，以及在二者之间转换时使用的编码。
4.第四章 Unicode文本和字节序列
清风
01-21 889
【代码】4.第四章 Unicode文本和字节序列。
Unicode中的BOM(字节序)
chenxijie1985的专栏
01-02 199
转载：https://blog.csdn.net/ysh1042436059/article/details/80905062 Unicode中的BOM BOM简述 　　BOM是byte order mark的缩写，在UTF-16和UTF-32中需要使用BOM来区分字节的顺序，因为我们目前的CPU有两种系列，一种是大端模式，一种是小端模式（我们常用的电脑手机均是这种）。当我们在自己电脑上编写...
流畅的python：4，文本和字节序列
牟涛的博客
10-20 235
本章将讨论下述话题： • 字符、码位和字节表述 • bytes、bytearray 和 memoryview 等二进制序列的独特特性 • 全部 Unicode 和陈旧字符集的编解码器 • 避免和处理编码错误 • 处理文本文件的最佳实践 • 默认编码的陷阱和标准 I/O 的问题 • 规范化 Unicode 文本，进行安全的比较 4.1　字符问题 @，从Python 3 的 str 对象中获取 的元素是Unicode 字符，这相当于从Python 2 的 unicode 对...
易语言JSON模块：STJson2.3(开源+示例) - 纯算法
05-28
完全支持科学计数法、Unicode、JSON标准转义符、单行多行注释、多字节文本。 读取支持路径式访问并且效率非常高。例如：a.b、a[1].b、[1].b、['我'].b。需要注意的是，数组访问索引是从1开始的。 快速解析对象加入...
易语言-易语言JSON模块：STJson2.3(开源+示例) - 纯算法
06-25
完全支持科学计数法、Unicode、JSON标准转义符、单行多行注释、多字节文本。 读取支持路径式访问并且效率非常高。例如：a.b、a[1].b、[1].b、['我'].b。需要注意的是，数组访问索引是从1开始的。 快速解析对象加入...
UTF-8编码转GBK编码
12-28
- **非法字节序列**：UTF-8的编码规则保证了任何字节序列都能被正确识别，但非有效的UTF-8字节序列在转换时会出错。 提供的压缩包文件“UincodeToGBK.txt”和“UTF-8转Uincode.TXT”可能是转换过程中的辅助工具。...
Java基础:爬虫
weixin_65752158的博客
07-04 1002
Pattern:表示正则表达式Matcher:文本匹配器，作用按照正则表达式的规则去读取字符串，从头开始读取。在大串中去找符合匹配规则的子串。通过Pattern p = Pattern.compile("正则表达式");获得 通过Matcher m = p.matcher(str);获得 (m要在str中找符合p规则的小串)其中, m为Matcher对象, p为正则表达式规则, str为要验证的字符串. boolean b = m.find(); 表示拿着文本匹配器从头开始读取，寻找是否有
pandas，dataframe使用笔记
分享计算机视觉，C++，嵌入式等知识。
07-05 470
dataframe属于pandas。
Python28-7.3 降维算法之多维缩放MDS
Argulo的博客
07-05 649
多维尺度分析（Multidimensional Scaling, MDS）是一种用于降维的统计技术，其目标是将高维数据嵌入到低维空间中，同时尽量保持原始数据中点与点之间的距离关系。MDS 的目标是将高维数据中的点嵌入到低维（通常是二维或三维）空间中，使得在低维空间中点之间的距离尽量接近原始高维空间中点之间的距离。这通过最小化一个损失函数（通常是应力函数）来实现，应力函数衡量的是原始距离和降维后距离之间的不一致性。：对原始数据中的距离或相似度进行非度量变换，以保留原始数据中的顺序信息，而不是精确的距离值。
已解决 javax.xml.transform.TransformerFactoryConfigurationError 异常的正确解决方法，亲测有效！！！
最新发布
小明的Java问道之路
07-08 937
已解决 javax.xml.transform.TransformerFactoryConfigurationError 异常的正确解决方法，亲测有效！！！
Django学习第四天
qq_43580271的博客
07-04 466
UserEditModelForm类继承了BootStrapModelForm类的方法，BootStrapModelForm继承了forms.ModelForm的方法所以使用继承能够更好封装代码功能。ModelForm引入时间样式（自动生成了id为id_create_time)django自动帮我们把session功能定义好了，使用只需要这样一个语句。封装每部分的功能，拆分到每个模块中去。在html中增加属性的方法1。在html中增加属性的方法2。在html中增加属性的方法3。在用户列表页面使用分页功能。
ttf unicode解析
05-20
TrueType字体文件（TTF）是一种用于显示文本的字体格式，它采用了Unicode编码来表示字符。Unicode是一种字符编码标准，它为世界上不同的语言和字符集提供了一个统一的编码方式。在TTF文件中，每个字符都有一个对应的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值