读取数据出错
pd.read_csv(filepath)时报错:
pandas.errors.ParserError: Error tokenizing data. C error: Expected 11 fields in line 5, saw 12
翻译:5行应有11列而实际上读到12列,就会报错,
解决办法
方法一:如果不在乎数据量缺失,可加参数 error_bad_lines=False ,但样本会减少一部分(bad_lines),及读到12列的数据会丢失。
方法二:强行设定数据列名,即加参数names。
本次数据较为重要,不能缺失任何数据,故使用方法二,详情见如下代码(注意:此处encoding=‘gb18030’,主要原因在于使用utf-8及gbk都是乱码,而使用gb18030时数据不会乱码)
import glob
import pandas as pd
# 加载数据
filePaths = glob.glob(r'D:\xxma\欧亚国际\欧亚\*.csv') # 读取文件夹下的csv文件
content = []
for file in filePaths:
df = pd.read_csv(file,sep=',',encoding='gb18030',index_col=False,names=['会员账号','姓名','所属代理','4','5','6','7','8','9','10','11','12',])
content.append(df.iloc[:,0:3]) #只取前3列
# 报错结果数据,所有表格合为一个表格
writer = pd.ExcelWriter(r'D:\xxma\欧亚国际\所有数据.xlsx')
pd.concat(content).drop_duplicates().to_excel(writer,'sheet1',index=False,encoding='gb18030')
writer.save()