import sys import unicodedata s = 'pýtĥöñ\fis\tawesome\r\n' remap = { ord('\t') : ' ', #ord() 返回单字符字符串的整数序号 ord('\f') : ' ', ord('\r') : None } a = s.translate(remap) #空白字符\t 和\f 已经被重新映射到一个空格。回车字符r 直接被删除
'''
通过使用dict.fromkeys() 方法构造一个字典,每个Unicode 和音符作为键,对于的值全部为None
然后使用unicodedata.normalize() 将原始输入标准化为分解形式字符
sys.maxunicode : 给出最大Unicode代码点的值的整数,即1114111(十六进制的0x10FFFF)。
unicodedata.combining:将分配给字符chr的规范组合类作为整数返回。 如果未定义组合类,则返回0。
'''
cmb_chrs = dict.fromkeys(c for c in range(sys.maxunicode) if unicodedata.combining(chr(c))) #此部分建议拆分开来理解
b = unicodedata.normalize('NFD', a)
'''
调用translate 函数删除所有重音符
'''
b.translate(cmb_chrs)
unicodedata库中的normalize函数,该函数的第一个参数可以接受”NFC”,’NFD’,’NFKC’,’NFKD’四个参数中的一个。
NFC(Normalization Form Canonical Composition):以标准等价方式来分解,然后以标准等价重组之。若是singleton的话,重组结果有可能和分解前不同。
尽可能的缩短整个字符串的长度,所以会把’eu0301’2个字节压缩到一个字节’é’。
NFD(Normalization Form Canonical Decomposition):以标准等价方式来分解
NFKD(Normalization Form Compatibility Decomposition):以相容等价方式来分解
NFKC(Normalization Form Compatibility Composition):以相容等价方式来分解,然后以标准等价重组之。
NFKC和NFKD可能会引起数据损失。