表情符号及 \x 与 \u 编码的问题

最新推荐文章于 2024-08-02 20:00:29 发布

盛桃云

最新推荐文章于 2024-08-02 20:00:29 发布

阅读量3.6k

点赞数 2

分类专栏： python 文章标签：表情编码

本文链接：https://blog.csdn.net/bowei026/article/details/90083697

版权

python 专栏收录该内容

29 篇文章 1 订阅

订阅专栏

程序调试时有时会报\x编码的问题，如 error code [1366]; Incorrect string value: '\xF0\x9F\xA7\xB8' for column xxx，拿到这些内容只能看明白数据库的某列存入某些特殊字符时报错了，但是不会贸然下手进行处理，本文用python2和java相结合探索\x 与\u 编码的问题，以及尝试解决这个问题

下面用python2 来看看\x与\u显示字符串的情况

[root@node-1 ~]# python
Python 2.6.6 (r266:84292, Aug 18 2016, 15:13:37) 
[GCC 4.4.7 20120313 (Red Hat 4.4.7-17)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> str1='\xF0\x9F\xA7\xB8'
>>> str2 = unicode(str1,'utf-8')
>>> str2
u'\U0001f9f8'
>>> print str2
?
>>> 
>>> str1='\xE4\xB8\x89\xE7\xBA\xA7\xE8\x8A\x82\xE7\x82\xB9'
>>> str2 = unicode(str1,'utf-8')
>>> print str2
三级节点
>>> str2
u'\u4e09\u7ea7\u8282\u70b9'

下面是python3 来显示字符串的 \x 与 \u 编码的情况

[root@localhost ~]# python
Python 3.7.3 (default, Apr 21 2019, 14:02:49) 
[GCC 4.4.7 20120313 (Red Hat 4.4.7-23)] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> '北京'.encode('unicode_escape')
b'\\u5317\\u4eac'
>>> '北京'.encode('utf-8')
b'\xe5\x8c\x97\xe4\xba\xac'
>>> b'\xe5\x8c\x97\xe4\xba\xac'.decode('utf-8')
'北京'
>>> b'\xF0\x9F\xA7\xB8'.decode('utf-8').encode('unicode_escape')
b'\\U0001f9f8'

可见 encode('unicode_escape') 显示 \u 编码, encode('utf-8')显示\x编码。至此, 再也不用害怕可见 \x 编码了，有办法显示原始的字符(decode('utf-8')方法)，再看不明白也可以转变为 \u 编码

下面的java方法是将字符串转unicode

private static String string2Unicode(String str) {
  StringBuffer sb = new StringBuffer();
  char[] c = str.toCharArray();
  for (int i = 0; i < c.length; i++) {
    sb.append("\\u" + Integer.toHexString(c[i]));
  }
  return sb.toString();
}

其实 \xF0\x9F\xA7\xB8 是一个表情符号，下面的java代码可以将java字符串中的表情替换为#，从而解决数据库保错的问题

name = name.replaceAll("[\\ud800\\udc00-\\udbff\\udfff\\ud800-\\udfff]", "#");

也可以将这些字符先进行编码处理，然后需要使用的时候再进行解码处理。

附： https://github.com/vdurmont/emoji-java 这个表情库有很多特殊表情处理不了，导致后续入库时报错。此时还需要辅助其他方法来解决

本文内容到此结束，更多内容可关注公众号和个人微信号：