python匹配文本中全角符号的两种方法

最新推荐文章于 2024-07-17 15:15:16 发布
最新推荐文章于 2024-07-17 15:15:16 发布
阅读量1.2w 收藏 9
点赞数 2
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xys228280987/article/details/51026496
版权
本文探讨了在处理包含全角符号的文本时，如何正确使用Python进行正则匹配。由于全角字符在utf8编码下可能与中文字节编码冲突，直接匹配可能导致错误。解决方案包括将字符串decode为unicode，或者将正则模式也转换为unicode表示。第一种方法涉及全角转半角操作，适合复杂情况；第二种方法简洁直接，适用于匹配符号种类较少的情况。
摘要由CSDN通过智能技术生成

在对文本进行处理的时候经常会遇见要对括号和标点进行匹配

常见的英文(半角)符号如( ) 直接用正则匹配即可

但是遇见全角字符(中文括号、标点)，直接用正则匹配会存在问题：

因为编码通常为为utf8，若直接匹配，中文括号的3字节编码会和一些中文的字节编码重复，产生意想不到的结果

若用decode转为unicode编码，则可避免产生错误结果，但也无法直接用正则匹配到

经过试验，发现一个看上去最佳的解决方法:


将字符串decode之后调用一个将全角符号转为半角符号的方法，然后处理返回的字符串

def strQ2B(ustring):
    """全角转半角"""
    rstring = ""
    for uchar in ustring:
        inside_code=ord(uchar)
        if inside_code == 12288:                              #全角空格直接转换
            inside_code = 32
        elif (inside_code >= 65281 and inside_code <= 65374): #全角字符（除空格）根据关系转化
            inside_code -= 65248
        rstring += unichr(inside_code)
    return rstring

def p(s):
    s1 = strQ2B(s.decode())
    p = re.compile('[()]',re.S)
    s1 = p.s
最低0.47元/天 解锁文章
byufeng
关注
超详细的 Python 方法、函数总结
Amo Xiang的博客
05-17 3万+
目录阅读前必读（不看会错过一个亿）一、字符串操作1.1 capitalize() 方法——字符串首字母转换为大写1.2 casefold() 方法——所有大写字符转换为小写1.3 center() 方法——字符串居中填充1.4 count() 方法——统计字符串出现次数1.5 encode() 方法——编码字符串1.6 decode() 方法——解码字符串1.7 endswith() 方法——是否以指定子字符串结尾、startswith() 方法1.8 find() 方法——字符串首次出现的索引位置(rfi
python全角数字_用Python转换一些常见全角字符为半角
weixin_39797264的博客
12-11 551
前言最近在爬日文小说的过程中，经常遇到全角(甚至和和半角混用)，造成我(强迫症)强烈不适，就着手专门写一个脚本处理之思路首先在网上寻找看是否已经有现成库/脚本能做到，寻找一番之后只找到一些思路文章，这里就不重复了有一点要注意，不少文章里是python2的情况，里面用的是unichr函数，到python3就变成了chr函数直接看代码吧def SBC2DBC(char):chr_code = ord(...
python 全半角符号转换
菜鸟小韩
05-03 3020
原文链接http://www.jb51.net/article/53903.htm本文实例讲解了Python实现全角半角转换的方法，相信对于大家的Python学习能够起到一定的参考借鉴价值。如下所示：一、全角半角转换概述：全角字符unicode编码从65281~65374 （十六进制 0xFF01 ~ 0xFF5E） 半角字符unicode编码从33~126 （十六进制 0x21~ 0x7E） 空...
Python字符串匹配的6种方法
最新发布
Python热爱者的博客
07-17 994
PS：Python字符串匹配及正则表达式说明。
python 全角字符和半角字符切换
喵咖的专栏
10-24 2415
unicode编码： 非空格： 全角字符：65281~65374 （十六进制 0xFF01 ~ 0xFF5E） 半角字符：33~126 （十六进制 0x21~ 0x7E） 空格： 空格全角：12288（0x3000） 空格半角：32（0x20） 解释一下什么是全角、半角： 全角字符是指一个字（字母、数字、汉字）占两个字节，而半角则是占一个字节。 中文全部都是全角字符，只有数字、英文字符、标点符号才...
python 匹配全角空格
2301_79446060的博客
03-28 395
在Unicode中，全角空格的编码为U+3000，而半角空格为U+0020。re 模块是Python中处理正则表达式的工具，非常适合用来识别和处理特定模式的字符串，包括各种空格字符。总结来说，Python通过其强大的字符串处理和正则表达式功能，为我们匹配和处理包括全角空格在内的特殊字符提供了方便。Python的字符串是Unicode编码，这使得处理包括全角空格在内的各种字符变得简单直接。最后，处理全角空格的问题提醒我们，在处理多语种文本数据时，了解并考虑各种字符的特性非常重要。
python正则相关
weixin_43779723的博客
08-29 189
1.1 基础语法 (1) 常用元字符 语法 描述 \b 匹配单词的开始或结束 \d 匹配数字 \s 匹配任意不可见(空格、换行符、制表符等等)，等价于[\f\n\r\t\v]. \w 匹配数字任意Unicode字符集,包括字母、数字、下划线、汉字等 . 匹配除换行符(\n)以外的任意字符 ^或\A 匹配字符串或行的起始位置 $或\Z 匹配字符串或行...
python替换所有标点符号 正则_Python关于文本中标点符号及其他的替换
weixin_39622905的博客
11-21 1021
原博文2015-03-06 17:22 −要处理文档，需要将一个TXT文档（如用户评论）的评论段将其所有的标点符号前后的评论都分成每一行。如: 帅府护病房,手机动画。 岁的胡思凡，是对俄方。 处理成: 帅府护病房 手机动画 岁的胡思凡 是对俄方 这样方便Python进一步对文本进行处理。通常有以下两种...相关推荐2016-11-23 01:14 −中文文本中可能出现的标点符号...
python统计汉字和标点_Python处理中文标点符号大集合
weixin_36372610的博客
12-28 2267
中文文本中可能出现的标点符号来源比较复杂，通过匹配等手段对他们处理的时候需要格外小心，防止遗漏。以下为在下处理中文标点的时候采用的两种方法:中文标点集合比较常见标点有这些：！？｡＂＃＄％＆＇()＊＋，－／：；＜＝＞＠［＼］＾＿｀｛｜｝～｟｠｢｣､、〃》「」『』【】〔〕〖〗〘〙〚〛〜〝〞〟〰〾〿–—‘'‛“”„‟…‧﹏.调用zhon包的zhon.hanzi.punctuation函数即可得到这些中文...
怎样通过Python代码库NLTK进行文本情感分析
AI天才研究院
08-07 1959
文本情感分析(Text Sentiment Analysis)是指对输入的一段文字或者文档的整体的积极或消极程度进行分析的一种自然语言处理技术。它的应用范围非常广泛，如产品评论，用户评论，微博客等等。近几年，随着深度学习、自然语言处理等技术的火热，文本情感分析技术也得到了飞速发展。本文通过对文本情感分析技术的研究探讨其实现方法及其特点，并基于python语言及相关库进行系统性的介绍。本篇文章假定读者具有一定的编程经验，掌握Python语言基础语法。
全角数字正则匹配后输出半角数字
07-11
全角数字正则匹配后输出半角数字，可以把日期字符串中的全角转换成半角，又便于转换成日期格式
python 区分全角_Python初学者常见错误及纠正方法
weixin_39588223的博客
01-31 521
1.全角和半角符号问题，经常在语句中使用全角的符号.print("你的名字是｛０｝".format("张三"))#正确print("你的名字是{0}".format("张三"))2.在输出函数中错误使用逗号(，)和点(.)print("你输入的字符串是{0}",format(name))# 正确print("你输入的字符串是{0}".format(name))3.误用 “=” 做等值比较...
16进制与QByteArray互转
康闯
09-16 2632
/* * @breif 将16进制字符串转换为对应的字节序列 */ QByteArray MainWindow::HexStringToByteArray(QString HexString) { bool ok; QByteArray ret; HexString = HexString.trimmed(); HexString = HexString.simplified(); QStringList sl = HexString.split(" ");
小福利，强大的Python正则表达式过滤一切你想要的信息！
littlespider889的博客
09-01 1502
大家好，我是天空之城，今天给大家带来小福利，强大的Python正则表达式过滤一切你想要的信息！ 1 基本字符 import re str1 = "fcny fzy fby f6y fay" result1 = re.findall("f[a-z]y",str1) result2 = re.findall("f[0-9]y",str1) result3 = re.findall("f[za6]y",str1) print(result1) print(result2) print(result3)
python 判断unicode字符串是汉字/数字/字母,全角/半角转换
xuh5156的专栏
06-17 6552
文本处理经常会判断字符串是否是字母，数字或者汉字的问题，python str模块提供了些方法，但是不支持unicode，所以模仿str的相关方法，实现了unicode 字符串的汉字/数字/字母判断方法，以及全角半角转换。 #!/usr/bin/env python # -*- coding: UTF-8 -*- import sys #set default encoding
中文字符,全角字符的正则表达式
u011487477的博客
06-30 5043
经过测试其中匹配双字节字符(包括汉字在内)：[^\x00-\xff]非常好用推荐一下 关键字：正则表达式 模式匹配 Javascript 摘要：收集一些常用的正则表达式。 正则表达式用于字符串处理，表单验证等场合，实用高效，但用到时总是不太把握，以致往往要上网查一番。我将一些常用的表达式收藏在这里，作备忘之用。本贴随时会更新。 匹配中文字符的正则表达式： [\u4e00-\u9fa5] 匹配双字节字符(包括汉字在内)：[^\x00-\xff] 应用：计算字符串的长度（一个双字节字符长度计2，ASCII字符
python常用正则表达式以及实践
Mr.Yan的专栏
11-19 864
在平常的编码过程中，经常需要用到一些常见的正则表达式，
正则表达式应用—判断是否有全角符号/判断是否输入半角中文、英数字以外的值
qq_44970368的博客
07-10 3785
给定一个正则表达式和另一个字符串，我们可以达到如下的目的：代码如下（示例）： 2.判断是否输入半角中文、英数字以外的值 需要导包： 代码如下（示例）： 总结 测试代码：
python 全角符号转半角
07-13
可以使用 Python 的 unicodedata 模块将全角符号转换为半角符号。以下是一个示例代码： ```python import unicodedata def to_halfwidth(text): """将文本中的全角字符转为半角字符""" halfwidth_text = '' for char in text: char_code = ord(char) if char_code == 12288: # 全角空格直接转换 halfwidth_char = chr(32) elif 65281 <= char_code <= 65374: # 全角字符（除空格）根据关系转化 halfwidth_char = chr(char_code - 65248) else: halfwidth_char = char halfwidth_text += halfwidth_char return halfwidth_text ``` 使用方法： ```python text = 'Ｐｙｔｈｏｎ　全角符号转半角' halfwidth_text = to_halfwidth(text) print(halfwidth_text) # 输出：Python 全角符号转半角 ``` 注意，该代码只能将 Unicode 编码范围在「全角字符」范围内的字符转换为半角字符，其他字符不会受影响。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值