python半角全角转换

在工作中遇到了query分词和文本分词半全角不一致问题,在网上搜索了半天,试了好多都没搞定,最后终于搞定了,代码是网上找到的,但是忘记链接了,见谅。

python半角全角转换代码:

def strQ2B(ustring):
    rstring = ""
    for uchar in ustring:
        inside_code=ord(uchar)
        if inside_code == 12288:
            inside_code = 32  
        elif (inside_code >= 65281 and inside_code <= 65374): 
            inside_code -= 65248

        rstring += unichr(inside_code)
    return rstring
    
def strB2Q(ustring):
    rstring = ""
    for uchar in ustring:
        inside_code=ord(uchar)
        if inside_code == 32:    
            inside_code = 12288
        elif inside_code >= 32 and inside_code <= 126:    
            inside_code += 65248

        rstring += unichr(inside_code)
    return rstring

在上面的代码中,输入参数必须是unicode编码的,所以在实际调用的时候,需要先进行编码转换,完成半角、全角转换后在转换为需要的编码。

在我的使用中,所有的文本输入编码都是gbk编码,所以调用的过程如下:

#半角转全角
lines = open(r'tmp','r').readlines()
for line in lines:
    line = line.decode('gbk')
    print strB2Q(line).encode('gbk')


全角转半角:

input = file('result')
for line in input:
    line = line.strip().decode('gbk')
    line = strQ2B(line).encode('gbk')

    print line



评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值