pandas读取csv文件时遇到的一些错误

错误一：
ParserError: Error tokenizing data. C error: Expected 1 fields in line 7, saw 3
产生这种错误的原因有很多，如果你的csv文件是用制表符隔开的每列数据，需要加上delimiter="\t",表示用制表符进行分割。如果格式不统一的话，也可以写成列表，用多种方式分割。

df = pd.read_csv(file_path,delimiter="\t")

错误二：
ParserError: Error tokenizing data. C error: EOF inside string starting at row 15946

需要加上engine=“python”

df = pd.read_csv(file_path,delimiter="\t",engine="python")

错误三：忽略有错误的行,加上error_bad_lines=False

df = pd.read_csv(file_path,delimiter="\t",error_bad_lines=False,engine="python")

错误四：
Skipping line 15513: ’ ’ expected after ‘"’
Skipping line 15546: unexpected end of data
这个原因是由于字符串中存在引号，并且没有匹配。在机器学习数据预处理中可以将引号去掉（一般是把所有的标点符号都去掉，然后再进行中文分词），处理代码如下：

import regex
import codecs
import os

def load_test_data(path):
    def _refine(line):
        line = regex.sub("<[^>]+>", "", line)
        line = regex.sub("['，','。','“','”','？','！',',','.','?','!','\"',':','：',';','；','、']", "", line)
        return line.strip()

    zh_sents = [_refine(line) for line in codecs.open(path, 'r', 'utf-8').read().split("\n")]
    if not os.path.exists('preprocessed'): os.mkdir('preprocessed')
    with codecs.open('preprocessed/{}'.format("xxx.txt"), 'w', 'utf-8') as fout:
        for line in zh_sents:
            fout.write(line)
            fout.write("\n")

if __name__ =="__main__":
    load_test_data("./xxx.csv")

这样处理之后生成在preprocessed文件夹下的xxx.txt文件就是已经被清洗过的数据了。