【Python爬虫教程】基础篇-15 MongoDB,Redis数据存储

本文介绍了Python爬虫中如何使用MongoDB和Redis进行数据存储。内容涵盖MongoDB的连接、数据库与集合操作、数据插入、查询、更新与删除,以及Redis的键值操作、字符串、列表、集合、有序集合和散列操作。MongoDB因其灵活性适用于爬虫数据存储,而Redis则提供高效的数据存储和操作。
摘要由CSDN通过智能技术生成

NoSQL,全称 Not Only SQL,意为不仅仅是 SQL,泛指非关系型数据库。NoSQL 是基于键值对的,而且不需要经过 SQL 层的解析,数据之间没有耦合性,性能非常高。

非关系型数据库又可细分如下。

键值存储数据库:代表有 Redis、Voldemort 和 Oracle BDB 等。

列存储数据库:代表有 Cassandra、HBase 和 Riak 等。

文档型数据库:代表有 CouchDB 和 MongoDB 等。

图形数据库:代表有 Neo4J、InfoGrid 和 Infinite Graph 等。

对于爬虫的数据存储来说,一条数据可能存在某些字段提取失败而缺失的情况,而且数据可能随时调整。另外,数据之间还存在嵌套关系。如果使用关系型数据库存储,一是需要提前建表,二是如果存在数据嵌套关系的话,需要进行序列化操作才可以存储,这非常不方便。如果用了非关系型数据库,就可以避免一些麻烦,更简单高效。

本节中,我们主要介绍 MongoDB 和 Redis 的数据存储操作。

MongoDB 存储

MongoDB 是由 C++ 语言编写的非关系型数据库,是一个基于分布式文件存储的开源数据库系统,其内容存储形式类似 JSON 对象,它的字段值可以包含其他文档、数组及文档数组࿰

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

仲君Johnny

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值