全角半角转换

https://www.jianshu.com/p/152e081fec1b

• 全角与半角转换在处理汉语语料中会经常出现，这里分别说明汉字、数字、字母的unicode编码范围

汉字编码范围

• 汉字的unicode编码范围u4e00到u9fa5(19968到40869)
• 根据test_is_chinese结果上面范围不包括所谓的中文符号
• 汉字没有半角全角之分，都站两个字节，都是全角

def is_chinese(uchar):
    """判断一个unicode是否是汉字
    """
    if uchar >= u'\u4e00' and uchar <= u'\u9fa5':
        return True
    else:
        return False
 

def test_is_chinese():
    s = "中，－（【，。“、ｆｂ｜"
    for c in s:
        print(c, is_chinese(c))

数字编码范围

• 数字的unicode编码范围根据全角和半角，有两个不同区域
• 半角数字u0030到u0039(48到57)，全角数字uff10到uff19(65296到65305)

# 半角0123456789
# 全角０１２３４５６７８９


def is_number(uchar):
    """判断一个unicode是否是半角数字
    """
    if uchar >= u'\u0030' and uchar <= u'\u0039':
        return True
    else:
        return False


def is_qnumber(uchar):
    """判断一个unicode是否是全角数字
    """
    if uchar >= u'\uff10' and uchar <= u'\uff19':
        return True
    else:
        return False

字母编码范围

• 字母的unicode编码根据字母大小写，以及全角和半角共有四个区域
• 半角大写字母u0041到u005a(65到90)
• 半角小写字母u0061到u007a(97到122)
• 全角大写字母uff21到uff3a(65313到65338)
• 全角小写字母uff41到uff5a(65345到65370)

# 半角ABCDEFGHIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqrstuvwxyz，中间空着的为[\]^_`
# 全角ＡＢＣＤＥＦＧＨＩＪＫＬＭＮＯＰＱＲＳＴＵＶＷＸＹＺ［＼］＾＿｀ａｂｃｄｅｆｇｈｉｊｋｌｍｎｏｐｑｒｓｔｕｖｗｘｙｚ，中间空着的为［＼］＾＿｀


def is_alphabet(uchar):
    """判断一个unicode是否是半角英文字母
    """
    if (uchar >= u'\u0041' and uchar <= u'\u005a') or (uchar >= u'\u0061' and uchar <= u'\u007a'):
        return True
    else:
        return False


def is_qalphabet(uchar):
    """判断一个unicode是否是全角英文字母
    """
    if (uchar >= u'\uff21' and uchar <= u'\uff3a') or (uchar >= u'\uff41' and uchar <= u'\uff5a'):
        return True
    else:
        return False

全角和半角的转换

• 半角转全角，不是半角范围直接返回，空格半角特殊单独处理，其它半角和全角对应公式：半角 = 全角 - 0xfee0(即ufee0 65248)

def B2Q(uchar):
    """单个字符 半角转全角
    """
    inside_code = ord(uchar)
    if inside_code < 0x0020 or inside_code > 0x7e:  # 不是半角字符就返回原来的字符
        return uchar
    if inside_code == 0x0020:  # 除了空格其他的全角半角的公式为: 半角 = 全角 - 0xfee0
        inside_code = 0x3000
    else:
        inside_code += 0xfee0
    return chr(inside_code)

• 所有全角转半角，和前面正好相反，公式对应：全角 = 半角 + 0xfee0

def Q2B(uchar):
    """单个字符 全角转半角
    """
    inside_code = ord(uchar)
    if inside_code == 0x3000:
        inside_code = 0x0020
    else:
        inside_code -= 0xfee0
    if inside_code < 0x0020 or inside_code > 0x7e:  #转完之后不是半角字符返回原来的字符
        return uchar
    return chr(inside_code)

• 把整个字符串全角转半角，也可以只转部分如数字和字母

def stringQ2B(ustring):
    """把字符串全角转半角
    """
    return "".join([Q2B(uchar) for uchar in ustring])


def stringpartQ2B(ustring):
    """把字符串中数字和字母全角转半角
    """
    return "".join([Q2B(uchar) if is_qnumber(uchar) or is_qalphabet(uchar) else uchar for uchar in ustring])

• 转换效果，数字和字母没问题，中文没有半角全角之分(产品上能不能转为拼音)，标点符号部分可以，部分不理想

中【】、。，｜、·～！＠＃￥％…＆＊　（）ａ１
中【】、。,|、·~!@#￥%…&* ()a1
中【】、。，｜、·～！＠＃￥％…＆＊　（）a1

中文转拼音

• 使用pypinyin库

import pypinyin

def chinese2pinyin(s)
	return "".join(pypinyin.lazy_pinyin(s, style=pypinyin.NORMAL))