- 在进行爬取批量数据后,我们需要将数据进行存储,可以通过不同的方法去存储数据,常用的方法例如存储txt文本,csv文本等,这里我们介绍一下,我常用Python的csv库的读取或写入CSV文件的方法。
1. Python处理CSV文件
CSV(Comma-Separated Values)即逗号分隔值,可以用Excel打开查看。由于是纯文本,任何编辑器也都可打开。与Excel文件不同,CSV文件中:
- 值没有类型,所有值都是字符串
- 不能指定字体颜色等样式
- 不能指定单元格的宽高,不能合并单元格
- 没有多个工作表
- 不能嵌入图像图表
1.1读取CSV文件方法
import csv
def read_csv():
with open('test.csv', 'r') as csvfile:
spamreader = csv.reader(csvfile, delimiter='|', quotechar=',')
for i, row in enumerate(spamreader):
#迭代每一列,且跳过表头开始迭代取值
if i > 0:
EnName = row[0]
通过该方法可将数据迭代取出进行赋值
1.2写入CSV文件方法
import csv
def write_csv(EnName,MoviesName,data1):
#设置表头
fieldnames = ["EnName", "MoviesName", "Plot"]
#将需要存储的数据存入字典中
dict = {
'EnName': EnName,
'MoviesName': MoviesName,
'Plot': data1,
}
#将每一条字典数据写入csv文件中
with open('Valid_MoviesName.csv', 'a', newline='', encoding='utf-8') as fwd:
fwdcsv = csv.DictWriter(fwd, delimiter=',', fieldnames=fieldnames)
fwdcsv.writerow(dict)
print("有效数据录入成功...")
通过该方法,可将数据成功写入CSV文件中