数据预处理之将带标签的txt文档变成可直接用于机器学习的带标签的csv文档
错误集锦(对小菜鸟来说特别痛苦的过程啊)
错误描述: txt文档读写错误
错误提示:Python pandas.errors.ParserError: Error tokenizing data. C error: Expected 1 fields in line 121, saw 2
1.txt读取中分隔符不清导致读取失败
该问题的出现是由于pandas在读取txt文档时无法正确的将每一行分开来,因为read_csv的默认分行标志是“,”,但如果你的txt文档本身的分行采用的不是“,”那么读取文件就会出现问题
我的原始代码是:
import pandas as pd
data = pd.read_csv('SMSSpamCollection')
print(data)
因此正确的解决办法就是在文件名之后注明你的分隔符,即为
data = pd.read_csv('SMSSpamCollection',encoding='utf-8',header=None,sep = '\t')