Python爬虫数据存哪里|数据存储到文件的几种方式

最新推荐文章于 2024-04-24 22:05:32 发布

程序员吾非同

最新推荐文章于 2024-04-24 22:05:32 发布

阅读量3.8k

点赞数 2

分类专栏： Python爬虫从基础到实战同哥带你学python 文章标签： python 爬虫数据存储

本文链接：https://blog.csdn.net/XingLongSKY/article/details/114134265

版权

同哥带你学python 同时被 2 个专栏收录

54 篇文章 8 订阅 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

Python爬虫从基础到实战

4 篇文章 6 订阅

订阅专栏

本文介绍了Python爬虫获取数据后如何存储，包括使用open()方法将数据保存到txt和csv文件，以及利用pandas模块保存到excel和csv。详细讲述了如何写入列表、字典数据到csv，并展示了使用pandas保存DataFrame对象的简便方法。

摘要由CSDN通过智能技术生成

爬虫请求解析后的数据，需要保存下来，才能进行下一步的处理，一般保存数据的方式有如下几种：

文件：txt、csv、excel、json等，保存数据量小。
关系型数据库：mysql、oracle等，保存数据量大。
非关系型数据库：Mongodb、Redis等键值对形式存储数据，保存数据量大。
二进制文件：保存爬取的图片、视频、音频等格式数据。

首先，爬取豆瓣读书《平凡的世界》的3页短评信息，然后保存到文件中。

https://book.douban.com/subject/1200840/comments/

「具体代码如下（忽略异常）：」

import requests
from bs4 import BeautifulSoup

urls=['https://book.douban.com/subject/1200840/comments/?start={}&limit=20&status=P&sort=new_score'.format(str(i)) for i in range(0, 60, 20)] #通过观察的url翻页的规律，使用for循环得到3个链接，保存到urls列表中
print(urls)
dic_h = {
    &