python 正则过滤四字节字符表情字符

桂花很香,旭很美

已于 2022-07-22 11:26:10 修改

阅读量760

点赞数 1

分类专栏： Python MySQL NLP 文章标签： python 数据处理

于 2022-06-12 11:33:09 首次发布

本文链接：https://blog.csdn.net/weixin_40959890/article/details/125243472

版权

Python 同时被 3 个专栏收录

176 篇文章 3 订阅

订阅专栏

NLP

100 篇文章 8 订阅

订阅专栏

MySQL

28 篇文章 3 订阅

订阅专栏

该博客介绍了在Python中如何使用正则表达式过滤特定Unicode范围内的字符，如表情符号和特殊符号，以解决MySQL插入4字符报错的问题。示例代码展示了两种不同的正则编译方式，分别对应Python的UCS-4和UCS-2构建。通过这些方法，可以有效地清理字符串，确保其符合数据库的输入要求。

摘要由CSDN通过智能技术生成

mysql 4字符插入报错，如果4字符我们不需要可以过滤掉

def clean(desstr,restr=''):  
    #过滤表情   
    try:  
        co = re.compile(u'['u'\U0001F300-\U0001F64F' u'\U0001F680-\U0001F6FF'u'\u2600-\u2B55]+')  
    except re.error:  
        co = re.compile(u'('u'\ud83c[\udf00-\udfff]|'u'\ud83d[\udc00-\ude4f\ude80-\udeff]|'u'[\u2600-\u2B55])+')  
    return co.sub(restr, desstr)
 
print(clean('shanghai🙌🏻💗🚩'))

运行结果：

shanghai

代码中的正则编码解释如下：

<U+1F300> - <U+1F5FF>      # 符号和象形字
<U+1F600> - <U+1F64F>      # 表情符号
<U+1F680> - <U+1F6FF>      # 交通符号和地图符号
<U+2600>  - <U+2B55>       # 其它符号

上面那个不可以可以试试下面这个：

def clean(desstr,restr=''):  
    #过滤表情   
    try:  
        # python UCS-4 build的处理方式
        co = re.compile(u'[\U00010000-\U0010ffff]') 
    except re.error:
        # python UCS-2 build的处理方式
        co = re.compile(u'[\uD800-\uDBFF][\uDC00-\uDFFF]')  
    return co.sub(restr, desstr)
 
print(clean('shandong🙌🏻💗🚩'))