Python3网络爬虫实战-33、数据存储：非关系型数据库存储:MongoDB

NoSQL，全称 Not Only SQL，意为不仅仅是 SQL，泛指非关系型的数据库。NoSQL 是基于键值对的，而且不需要经过 SQL 层的解析，数据之间没有耦合性，性能非常高。

非关系型数据库又可以细分如下：

• 键值存储数据库，代表有 Redis, Voldemort, Oracle BDB 等。
• 列存储数据库，代表有 Cassandra, HBase, Riak 等。
• 文档型数据库，代表有 CouchDB, MongoDB 等。
• 图形数据库，代表有 Neo4J, InfoGrid, Infinite Graph等。

对于爬虫的数据存储来说，一条数据可能存在某些字段提取失败而缺失的情况，而且数据可能随时调整，另外数据之间能还存在嵌套关系。如果我们使用了关系型数据库存储，一是需要提前建表，二是如果存在数据嵌套关系的话需要进行序列化操作才可以存储，比较不方便。如果用了非关系数据库就可以避免一些麻烦，简单高效。

本节我们主要介绍一下 MongoDB 和 Redis 的数据存储操作。

MongoDB存储

MongoDB 是由 C++ 语言编写的非关系型数据库，是一个基于分布式文件存储的开源数据库系统，其内容存储形式类似 Json 对象，它的字段值可以包含其他文档，数组及文档数组，非常灵活，在这一节我们来看一下 Python3 下 MongoDB 的存储操作。

1. 准备工作

在本节开始之前请确保已经安装好了 MongoDB 并启动了其服务，另外安装好了 Python 的 PyMongo库，如没有安装可以参考第一章的安装过程。

2. 连接MongoDB

连接 MongoDB 我们需要使用 PyMongo 库里面的 MongoClient，一般来说传入 MongoDB 的 IP 及端口即可，第一个参数为地址 host，第二个参数为端口 port，端口如果不传默认是 27017。

import pymongo
client = pymongo.MongoClient(host='localhost', port=27017)

这样我们就可以创建一个 MongoDB 的连接对象了。

另外 MongoClient 的第一个参数 host 还可以直接传MongoDB 的连接字符串，以 mongodb 开头，例如：

client = MongoClient('mongodb://localhost:27017/')

可以达到同样的连接效果。

3. 指定数据库

MongoDB 中还分为一个个数据库，我们接下来的一步就是指定要操作哪个数据库，在这里我以 test 数据库为例进行说明，所以下一步我们需要在程序中指定要使用的数据库。

db = client.test

调用 client 的 test 属性即可返回 test 数据库，当然也可以这样来指定：

db = client['test']

两种方式是等价的。

4. 指定集合

MongoDB 的每个数据库又包含了许多集合 Collection，也就类似与关系型数据库中的表，下一步我们需要指定要操作的集合，在这里我们指定一个集合名称为 students，学生集合，还是和指定数据库类似，指定集合也有两种方式：

collection = db.students

collection = db['students']

这样我们便声明了一个 Collection 对象。

5. 插入数据

接下来我们便可以进行数据插入了，对于 students 这个Collection，我们新建一条学生数据，以字典的形式表示：

student = {
    'id': '20170101',
    'name': 'Jordan',
    'age': 20,
    'gender': 'male'
}
Python资源分享qun 784758214 ,内有安装包，PDF，学习视频，这里是Python学习者的聚集地，零基础，进阶，都欢迎

在这里我们指定了学生的学号、姓名、年龄和性别，然后接下来直接调用 collection 的 insert() 方法即可插入数据，代码如下：

result = collection.insert(student)
print(result)

在 MongoDB 中，每条数据其实都有一个 _id 属性来唯一标识，如果没有显式指明 _id，MongoDB 会自动产生一个 ObjectId 类型的 _id 属性。insert() 方法会在执行后返回的 _id 值。

运行结果：

5932a68615c2606814c91f3d

当然我们也可以同时插入多条数据，只需