Python爬虫数据存哪里|数据存储到文件的几种方式

爬虫请求解析后的数据，需要保存下来，才能进行下一步的处理，一般保存数据的方式有如下几种：

• 文件：txt、csv、excel、json等，保存数据量小。
• 关系型数据库：mysql、oracle等，保存数据量大。
• 非关系型数据库：Mongodb、Redis等键值对形式存储数据，保存数据量大。
• 二进制文件：保存爬取的图片、视频、音频等格式数据。

首先，爬取豆瓣读书《平凡的世界》的3页短评信息，然后保存到文件中。

https://book.douban.com/subject/1200840/comments/

「具体代码如下（忽略异常）：」

import requests
from bs4 import BeautifulSoup

urls=['https://book.douban.com/subject/1200840/comments/?start={}&limit=20&status=P&sort=new_score'.format(str(i)) for i in range(0, 60, 20)] #通过观察的url翻页的规律，使用for循环得到3个链接，保存到urls列表中
print(urls)
dic_h = {
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36"}
comments_list = [] #初始化用于保存短评的列表

for url i