数据处理

kaldi处理数据时出现这个问题
text file ‘***’ contains disallowed UTF-8 whitespace character(s)
原因有两个一个是多了/r，一个是多了/xa0.
把出错的那一行打印出来，然后用下面的代码查看字符

temp = open('error.txt', 'r')
r.readline()

就可以看到除了\n以外，多出的字符，删掉即可。
在服务器上处理数据出错，这里记录一下。

用sed去除重复空格和制表符，只保留一个，网上很多方法是错的，根本没办法有效的去除，下面实测有效：

sed -i 's/[[:blank:]]\+/ /g' text
sed -i 's/[[:blank:]]\{2,\}/ /g' text

不知道网上有些答案贴出来是怎么处理成功的。

中文数据处理：
直接用Jieba分词先分词，分完词以后，标点这些已经和字分开。如
我。会被分为我。
英文数据处理：
小写
去除符号
tokenizer