python：读取CSV文件的相关技巧

最近在做爬取网站数据的工作，需要将爬到的数据保存为.csv文件。接下来，我将分别介绍使用pandas模块和使用csv模块读写csv文件的方法。

1.使用pandas写csv文件

（1）只写入一列

#single column
import pandas as pd

list = ['a','b','c','d','e']
df = pd.DataFrame(list)
df.to_csv('SingleList.csv')

首先，定义列表list，然后使用pandas模块的DataFrame方法，向csv文件中写入一列。

得到的文件截图如下：

（2）逐列写入csv文件

#write by column
import pandas as pd
list = ['a','b','c','d','e']
datas = {}
datas['a'] = ['a1','a2','a3','a4']
datas['b'] = ['b1','b2','b3','a4']
datas['c'] = ['c1','c2','c3','c4']
datas['d'] = ['d1','d2','d3','d4']
datas['e'] = ['e1','e2','e3','e4']
cols = pd.DataFrame(columns = list)
for id in list:
    cols[id] = datas[id]
cols.to_csv('ByColumn.csv')

首先，定义列表list，它定义了我们要得到的csv文件的列。

通过cols = pd.DataFrame(columns = list)，返回一个DataFrame，也就是cols。

接下来，遍历list中的列，分别对每一列写入数据。

注意：每一列写入的行数应该是一样的。

尝试把：datas['e'] = ['e1','e2','e3','e4']

改为datas['e'] = ['e1','e2','e3','e4',‘e5’],结果保错。

正确运行时，得到的结果为：

（3）逐行写入csv文件

#write by row
import pandas as pd
datas = []
list = ['a','b','c','d','e']
datas.append(['a1','b1','c1','d1','e1'])
datas.append(['a2','b2','c2','d2','e2'])
datas.append(['a3','b3','c3','d3','e3'])
datas.append(['a4','b4','c4','d4','e4'])
cols = pd.DataFrame(columns = list)
for i in range(0,4):
	cols.loc[i] = datas[i]
cols.to_csv('ByRow.csv') 

同理，首先，定义列表list，它定义了我们要得到的csv文件的列。

通过cols = pd.DataFrame(columns = list)，返回一个DataFrame，也就是cols。

然后，通过cols.loc[i] = datas[i]，来逐行写入数据，注意datas[i]也是一个列表。

正确运行时，得到的结果为：

（4）先逐行，后逐列写入csv文件

首先，需要说明的是，对于同一个DataFrame，逐行和逐列写不能混用。

那么，如果需要写写入几行，再逐列写入，该怎么办呢？

可以用到Pandas的concat功能。先看代码：

#mix
import pandas as pd
list = ['a','b','c','d','e']
cols = pd.DataFrame(columns = list)
cols.loc[0] = ['aa','bb','cc','dd','ee']
datas = {}
datas['a'] = ['a1','a2','a3','a4']
datas['b'] = ['b1','b2','b3','a4']
datas['c'] = ['c1','c2','c3','c4']
datas['d'] = ['d1','d2','d3','d4']
datas['e'] = ['e1','e2','e3','e4']

cols2 = pd.DataFrame(columns = list)
for id in list:
    cols2[id] = datas[id]

result = [cols,cols2]
df = pd.concat(result,ignore_index=True)
df.to_csv('mix.csv') 

也就是说，分别建立两个dataFrame，然后把它们连起来就可以了。

2.使用csv模块中的reader读文件和writer写文件

(1)使用reader读文件

#reader
import csv
csvfile = file(r'ByRow.csv', 'rb')
reader = csv.reader(csvfile)

for line in reader:
	print line

csvfile.close() 

按行读取文件，每一行都是一个list。运行结果如下：

（2）使用writer写文件

首先，来看一下如何写一个新的文件

写多行：

#write multiple rows
csvfile = file(r'newWritten.csv', 'wb')
writer = csv.writer(csvfile)
res = []
res.append(['a','b','c','d','e'])
res.append(['a','b','c','d','e'])
writer.writerows(res)
csvfile.close()

运行结果：

其中，

writerows：用来写多行

writerow：用来写一行

我们用writerow来替换writerows试试看：

#write single rows
csvfile = file(r'newWritten.csv', 'wb')
writer = csv.writer(csvfile)
res = []
res.append(['a','b','c','d','e'])
res.append(['a','b','c','d','e'])
writer.writerow(res)
csvfile.close()

运行结果：

也就是将一个list写入到了一行中。

由此，我们也可以发现，每次使用writer，写的都是整个文件。

那么，如果我们只是想修改已经存在的csv文件中的部分内容呢？

这里要用到的思路是:先读取csv文件，将读取的内容保存下来，例如以list的形式保存，再对list进行修改。

#modify exist file
#first read
res = []
csvreadfile = file(r'ByRow.csv', 'rb')
reader = csv.reader(csvreadfile)
for line in reader:
	print line
	res.append(line)
csvreadfile.close()

#modify first row
csvfile = file(r'ByRow.csv', 'wb')
writer = csv.writer(csvfile)
res[0] = ['A','B','C','D','E']
writer.writerows(res)
csvfile.close() 

#read again
csvreadfile = file(r'ByRow.csv', 'rb')
reader = csv.reader(csvreadfile)
for line in reader:
	print line
csvreadfile.close()

运行结果：

-------------------------------------------------------------------------------------------------------------------------------------------

怎么样，对csv文件的基本操作，你学会了吗？