python处理中文字符串的问题

开始提取百科的词条统计信息，遇到如图一所示的问题，之前也遇到过但不知道怎么回事，今天逐条审查才发现原来是中文字符串问题，比如这种：Python中默认情况下，赋值strs = '默认编码是ascii'，输出strs[0]，结果为'Ä'，输出strs[10]为'a'，输出strs[0:2]才是'默'

因为字符串在Python内部的表示是unicode编码，因此，在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。开始直接对中文字符串切片操作会报错，如图三更改了代码之后先对tag解码之后再切片就运行正常如图2 所示了