简单数据清洗

代码清理

• 转义字符\n
• Unicode字符
• 剔除单字符单词
• 引用标记
• 标点符号

	input = re.sub('\n+', " ", input)
    input = re.sub('\[[0-9]*\]', "", input)
    input = re.sub(' +', " ", input)
    input = bytes(input, "UTF-8")
    input = input.decode("ascii", "ignore")

或者使用OpenRefine开源软件