Python爬虫的一些常用库(储存)

安装

 

使用

作用

把爬取的数据储存到本地的csv文件中

流程

1、打开csv文件

2、初始化写入对象

3、写入数据（列表）

代码如下：

import csv
with open('lengxiang.csv','w') as f:
    writer = csv.writer(f)
    writer.writerow([]) # []里要输入你要储存的数据

例如

上面的写入一条数据，下面来看一下，一次性写入多条数据

 

import csv
lengx = [
    ('冷巷','哟西'),
    ('神','小哟西'),
    ('utjl','贼哟西'),
    ('涵','emm'),
    ('在看的大哥大姐->','真好看'),
]

with open('lx.csv','a') as  f:
    writer = csv.writer(f)
    writer.writerows(lengx)

和上面的代码对比一下，可以发现下面的writerow后面多了一个s ，如果没有s的话输出就不是竖着的，而是横着的。把代码改成

with open('lx.csv','a',newline='') as  f:

这样，中间就不会有空行了。

csv文件只需要打开和关闭一次就行，把爬取的数据处理成列表，用writerow()的方法写进去。

dwada = open('xxx.csv', 'a')