中文正则识别

最新推荐文章于 2022-07-04 11:08:07 发布

leap_ruo

最新推荐文章于 2022-07-04 11:08:07 发布

阅读量277

点赞数

分类专栏： python

本文链接：https://blog.csdn.net/airstudy/article/details/115838804

版权

python 专栏收录该内容

16 篇文章 1 订阅

订阅专栏

本文分享了来源于jieba库的中文正则表达式，这些表达式常用于预处理阶段，以处理和识别中文文本。

摘要由CSDN通过智能技术生成

以下正则表达式源于jieba源码中的正则定义，在预处理中可能会用到，供参考~

re_han_detail = re.compile("([\u4E00-\u9FD5]+)")
re_skip_detail = re.compile("([\.0-9]+|[a-zA-Z0-9]+)")
re_han_internal = re.compile("([\u4E00-\u9FD5a-zA-Z0-9+#&\._]+)")
re_skip_internal = re.compile("(\r\n|\s)")
re_eng = re.compile("[a-zA-Z0-9]+")
re_num = re.compile("[\.0-9]+")
re_eng1 = re.compile('^[a-zA-Z0-9]$', re.U)