数据的存储--MongoDB文档存储

MongoDB文档存储

NoSQL，全称为Not Only SQL，意为不仅仅是SQL，泛指非关系型数据库。NoSQL是基于键值对的，而且不需要经过SQL层的解析，数据之间没有耦合性，性能非常高。

非关系行数据库又可细分如下。

• 键值存储数据库：代表有Redis、Voldemort和Oracle BDB等。
• 列存储数据库：代表有Cassandra、HBase和Riak等。
• 文档型数据库：代表有CouchDB和MongoDB等。
• 图形数据库：代表有Neo4J、InfoGrid和Infinite Graph等。

MongoDB是由C++语言编写的非关系型数据库，是一个基于分布式文件存储的开源数据库系统，其内容的存储形式类似JSON对象。它的字段值可以包含其他文档、数组及文档数组，非常灵活。

1. 准备工作

首先确保已经安装好了MongoDB并启动了其服务，还需要安装好Python的PyMongo库，可以使用pip3来安装：

pip3 install pymongo

2.连接MongoDB

连接MongoDB时，需要使用PyMongo库里面的MongoClient方法，一般而言，传入MongoDB的IP及端口即可。MongoClient方法的第一个参数为地址host，第二个参数为端口port（如果不传入此参数，默认取值为27017）：

import pymongo
client = pymongo.MongoClient(host='localhost', port=27017)

这样就创建MongoDB第连接对象了。

另外，还可以直接给MongoClient的第一个参数host传入MongoDB的连接字符串，它以mongoldb开头，例如：

client = MongoClient('mongodb://localhost:27017/')

这样可以达到同样的连接效果。

3.指定数据库

在MongoDB中，可以建立多个数据库，所以我们需要指定操作哪个数据库。这里我们以指定test数据库为例来说明：

db = client.test

这里调用client的test属性即可返回test数据库。当然，也可以这样指定：

db = client['test']

4.指定集合

MongoDB的每个数据库又都包含许多集合（collection），这些集合类似于关系型数据库中的表。下一步需要指定要操作哪些集合，这里指定一个集合，名称为students。与指定数据库类似，指定集合也有两种方式：

collection = db.students

或

collection = db['students']

这样我们便声明了一个集合对象。

5.插入数据

接下来，便可以插入数据了。在students这个集合中，新建一条学生数据，这条数据以字典形式表示：

student = {
  'id':'20170101',
  'name': 'Jordan',
	'age': 20,
  'gender': 'male'
}

这里指定了学生的学号、姓名、年龄和性别。然后直接调用collection类的insert方法即可插入数据，代码如下：

result = collection.insert_one(student)
print(result)

在MongoDB中，每条数据都有一个_id属性作为唯一标识。如果没有显式指明该属性，那么MongoDB会自动产生一个ObjectId类型的_ _id属性，insert方法会在执行后返回_id值。

运行结果如下：

6554af645035eca6670c261f

当然，也可以同时插入多条数据，只需要以列表形式传递即可，实例如下：

student1 = {
    'id': '20170103',
    'name': 'Bob',
    'age': 28,
    'gender': 'male'
}

student2 = {
    'id': '20170204',
    'name': 'Mike',
    'age':32,
    'gender': 'male'
}

result = collection.insert_many([student1, student2])
print(result)
print(result.inserted_ids)

返回结果是对应的_id的集合：

[ObjectId('6554b13f43d77fb882124952'), ObjectId('6554b13f43d77fb882124953')]

6.查询

插入数据后， 我们可以利用find_one或find方法进行查询，用前者查询得到的是单个结果，后者则会返回一个生成器对象。实例代码如下：

import pymongo

client = pymongo.MongoClient(host='localhost', port=27017)

db = client.test
collection = db.students

result = collection.find_one({'name': 'Mike'})
print(result)
print(type(result))

这里我们查询name值为Mike的数据，运行结果如下：

{'_id': ObjectId('65548291f1761603ce61adad'), 'id': '20170102', 'name': 'Mike', 'age': 21, 'gender': 'male'}
<class 'dict'>

可以发现，结果是字典类型，它多了_id属性，这就是MongoDB在插入数据过程中自动添加的。此外，我们也可以根据ObjectId来查询数据，此时需要使用bson库里面的objectid:

from bson.objectid import ObjectId

result = collection.find_one({'_id': ObjectId('6554b13f43d77fb882124952')})
print(result)

其查询结果依然是字典类型，具体如下：

{'_id': ObjectId('6554b13f43d77fb882124952'), 'id': '20170103', 'name': 'Bob', 'age': 28, 'gender': 'male'}

当然， 如果查询结果不存在，则会返回None。

若要查询多条数据，可以使用find方法。例如，查找age为20的数据，实例代码如下：

results = collection.find({'age': 20})
print(results)
for result in results:
    print(result)

运行结果如下：

<pymongo.cursor.Cursor object at 0x108fdbc10>
{'_id': ObjectId('65548291f1761603ce61adad'), 'id': '20170102', 'name': 'Mike', 'age': 20, 'gender': 'male'}
{'_id': ObjectId('6554af645035eca6670c261f'), 'id': '20170101', 'name': 'Jordan', 'age': 20, 'gender': 'male'}
{'_id': ObjectId('6554b13f43d77fb882124952'), 'id': '20170103', 'name': 'Bob', 'age': 20, 'gender': 'male'}

返回结果是Cursor类型，相当于一个生成器，通过遍历能够获取所有的结果，其中每个结果都是字典类型。

如果要查询age大于20的数据，则写法如下：

results = collection.find({'age': {'$gt':20}})
print(results[0])

这里查询条件中的键值已经不是单纯的数字了，而是一个字典，其键名为比较符号$gt，意思是大于；键值为20。

这里将比较符号归纳为表如下：

											#### 									比较符号

符 号	含 义	实 例
$lt	小于	{‘age’: {‘$lt’: 20}}
$gt	大于	{‘age’: {‘$gt’: 20}}
$lte	小于等于	{‘age’: {‘$lte’: 20}}
$gte	大于等于	{‘age’: {‘$gte’: 20}}
$ne	不等于	{‘age’: {‘$ne’: 20}}
$in	在范围内	{‘age’: {‘$in’: [20, 23]}}
¥nin	不在范围内	{‘age’: {‘nin’: [20, 23]}}

另外，还可以进行正则匹配查询。例如，执行以下代码查询name以M开头的学生数据：

results = collection.find({'$regex': '^M.*'})

这里使用$regex来指定正则匹配，^M.*代表以M为开头的正则表达式。

下面将一些功能符号归类为下表：

功能符号

符 号	含 义	实 例	实例含义
$regex	匹配正则表达式	{‘name’: {‘regex’: ‘^M.*’}}	name以M开头
$exists	属性是否存在	{‘name’: {‘$exists’: True}}	存在name属性
$type	类型判断	{‘age’: {‘$type’: ‘int’}}	age的类型为int
$mod	数字模操作	{‘age’: {‘$mod’: {5, 0}}}	age模5余0
$text	文本查询	{‘KaTeX parse error: Expected '}', got 'EOF' at end of input: text': {'search’: ‘Mike’}}	text类型的属性中包含Mike字符串
$where	高级条件查询	{‘$where’: ‘obj.fans_count == obj.follows_count’}	自身粉丝数等于关注数

7.计数

要统计查询结果包含多少条数据，可以调用count方法。例如统计所有数据条数，代码如下：

count = collection.find().count()
print(count)

统计符合某个条件的数据有多少条，代码如下：

count = collection.find({'age': 20}).count()
print(count)

运行结果是一个数值，即符合条件的数据条数。

8.排序

排序时，直接调用sort方法，并传入排序的字段及升降序标志即可。实例代码如下：

import pymongo
# 连接数据库
client = pymongo.MongoClient(host='localhost', port=27017)
# 指定数据库
db = client.test
# 指定集合
collection = db.students
# 调用sort方法
results = collection.find().sort('name', pymongo.ASCENDING)
print([result['name'] for result in results])

运行结果如下：

['Bob', 'Jordan', 'Mike', 'Nani']

这里我们调用pymongo.ASCENDING指定按生序排序。如果要降序，可以传入pymongo.DESCENDINg。

9.偏移

在某些情况下，可能只想取某几个元素，这时可以利用skip方法偏移几个位置，例如偏移2，即可忽略前两个元素，获取第三个及以后的元素：

import pymongo

client = pymongo.MongoClient(host='localhost', port=27017)

db = client.test

collection = db.students

results = collection.find().sort('name', pymongo.ASCENDING).skip(2)
print([result['name'] for result in results])

运行结果如下：

['Mike', 'Nani']

另外，还可以使用limit方法指定要获取的结果个数，实例代码如下：

results = collection.find().sort('name', pymongo.ASCENDING).skip(1).limit(3)
print([result['name'] for result in results])

运行结果如下：

['Jordan', 'Mike', 'Nani']

值得注意的是， 在数据库中数据量非常庞大的时候（例如千万、亿级别），最好不要使用大偏移量来查询数据，因为这样很可能导致内存溢出。此时可以使用类似如下操作来查询：

from bson.objectid import ObjectId
collection.find({'_id': {'$gt': ObjectId('65548291f1761603ce61adad')}})

这里需要记录好上次查询的_id。

10.更新

对于数据更新，我们可以使用update_one方法，在其中指定更新的条件和更新后的数据即可。例如：

import pymongo

client = pymongo.MongoClient(host='localhost', port=27017)

db = client.test

collection = db.students

condition = {'name': 'Jordan'}
student = collection.find_one(condition)
student['age'] = 25
result = collection.update_one(condition, {'$set': student})
print(result)
print(result.matched_count, result.modified_count)

这里调用的是update_one方法，其第二个参数不能再直接传入修改后的字典，而是需要使用{‘$set’: student}这种形式的数据。然后分别调用matched_count和modified_count属性，可以获得匹配的数据条数和影响的数据条数。

运行结果如下：

<pymongo.results.UpdateResult object at 0x10ae5bbe0>
1 0

可以发现update_one 方法的返回结果是UpdateResult类型。我们再看一个例子：

condition = {'age': {'$gt': 20}}
result = collection.update_one(condition, {'$inc': {'age': 1}})
print(result)
print(result.matched_count, result.modified_

这里查询条件为age大于20，然后更新条件是{‘$inc’: {‘age’: 1}}， 也就是对age加1，因此执行update_one方法之后，会对第一条符合查询条件的学生数据的age加1。

运行结果如下：

<pymongo.results.UpdateResult object at 0x10aa59c70>
1 1

可以看到匹配条数为1条，影响条数也是1条。

但如果调用update_many方法，则会更新所有符合条件的数据，实例代码如下：

condition = {'age': {'$gt': 20}}
result = collection.update_many(condition, {'$inc': {'age': 1}})
print(result)
print(result.matched_count, result.modified_count)

运行结果如下：

<pymongo.results.UpdateResult object at 0x10dfd9c70>
2 2

11.删除

删除操作比较简单，直接调用delete_one方法和delete_many。delete_one删除第一条符合条件的数据，delete_many删除所有符合条件的数据均会被删除。实例代码如下：

import pymongo

client = pymongo.MongoClient(host='localhost', port=27017)

db = client.test

collection = db.students

result = collection.delete_one({'name': '赵玲薇'})
print(result)

删除多条数符合条件的数据，实例代码如下：

result = collection.delete_many({'age': {'$gt': 19}})
print(result.deleted_count)

运行结果如下：

3

调用delete_count属性获取删除的数据条数。

12.其他操作

除了以后操作，PyMongo还提供了一些组合方法，例如find_one_and_delete、find_one_and_replace和find_one_and_update，分别是查找后删除、替换和更新操作，用法与上述方法基本一致。