python 处理带音符的字符

import sys
import unicodedata
s = 'pýtĥöñ\fis\tawesome\r\n'
remap = {
    ord('\t') : ' ',  #ord() 返回单字符字符串的整数序号
    ord('\f') : ' ',
    ord('\r') : None 
    }
a = s.translate(remap) #空白字符\t 和\f 已经被重新映射到一个空格。回车字符r 直接被删除

'''

　　　　通过使用dict.fromkeys() 方法构造一个字典，每个Unicode 和音符作为键，对于的值全部为None

　　　　然后使用unicodedata.normalize() 将原始输入标准化为分解形式字符

　　　sys.maxunicode : 给出最大Unicode代码点的值的整数，即1114111（十六进制的0x10FFFF）。
　　
　　　unicodedata.combining:将分配给字符chr的规范组合类作为整数返回。 如果未定义组合类，则返回0。

'''

cmb_chrs = dict.fromkeys(c for c in range(sys.maxunicode) if unicodedata.combining(chr(c))) #此部分建议拆分开来理解

b = unicodedata.normalize('NFD', a)

'''
　　　　　调用translate 函数删除所有重音符

'''

b.translate(cmb_chrs)

unicodedata库中的normalize函数，该函数的第一个参数可以接受”NFC”,’NFD’,’NFKC’,’NFKD’四个参数中的一个。
NFC(Normalization Form Canonical Composition)：以标准等价方式来分解，然后以标准等价重组之。若是singleton的话，重组结果有可能和分解前不同。

　　　　　　　　　　　　　　　　　　　　　　　　　尽可能的缩短整个字符串的长度，所以会把’eu0301’2个字节压缩到一个字节’é’。
NFD(Normalization Form Canonical Decomposition)：以标准等价方式来分解
NFKD(Normalization Form Compatibility Decomposition)：以相容等价方式来分解
NFKC(Normalization Form Compatibility Composition)：以相容等价方式来分解，然后以标准等价重组之。
NFKC和NFKD可能会引起数据损失。

转载于:https://www.cnblogs.com/lcmemo/p/6428911.html