【Python3 爬虫学习笔记】数据存储 5 -- MongoDB存储 1

NoSQL，全称Not Only SQL，意为不仅仅是SQL，泛指非关系型数据库。NoSQL是基于键值对的，而且不需要经过SQL层的解析，数据之间没有耦合性，性能非常高。
非关系型数据库又细分如下：

• 键值存储数据库：代表有Redis、Voldemort和Oracle BDB等。
• 列存储数据库：代表有Cassandra、HBase和Riak等。
• 文档型数据库：代表有CouchDB和MongoDB等。
• 图形数据库：代表有Neo4J、InfoGrid和InfiniteGraph等。

对于爬虫的数据存储来说，一条数据可能存在某些字段提取失败而缺失的情况，而且数据可能随时调整。另外，数据之间还存在嵌套关系。如果使用关系型数据库存储，一是需要提前建表，二是如果存在数据嵌套关系的话，需要进行序列化操作才可以存储，这非常不方便。如果用了非关系型数据库，就可以避免一些麻烦，更简单高效。

MongoDB存储

MongoDB是由C++语言编写的非关系型数据库，是一个基于分布式文件存储的开源数据库系统，其内容存储形式类似JSON对象，它的字段值可以包含其他文档、数组及文档数组，非常灵活。

连接MongoDB

连接MongoDB时，我们需要使用PyMongo库里面的MongoClient。一般来说，传入MongoDB的IP及端口即可，其中第一个参数为地址host，第二个参数为端口port（如果不给它传递参数，默认是27017）：

import pymongo
client = pymongo.MongoClient(host='localhost', port=27017)

这样就可以创建MongoDB的连接对象了。
另外，MongoClient的第一个参数host还可以直接传入MongoDB的连接字符串，它以mongodb开头，例如：

client = MongoClient('mongodb://localhost:27017/')

这也可以达到同样的连接效果。

指定数据库

MongoDB中可以建立多个数据库，接下来我们需要指定操作哪个数据库。这里我们以test数据库为例来说明，下一步需要再程序中指定要使用的数据库：

db = client.test

这里调用client的test属性即可返回test数据库。当然，我们也可以这样指定：

db = client['test']

这两种方式是等价的。

指定集合

MongoDB的每个数据库又包含许多集合(collection)，它们类似于关系型数据中的表。
下一步需要指定要操作的集合，这里指定一个集合名称为students。与指定数据库类似，指定集合也有两种方式：

collection = db.students
collection = db['stydents']

这样我们便声明了一个Collection对象。

插入数据

接下来，便可以插入数据了。对于students这个集合，新建一条学生数据，这条数据以字典形式表示：

student = {
	'id': '20170101',
	'name': 'Jordan',
	'age': 20,
	'gender': 'male'
}

这里指定了学生的学号、姓名、年龄和性别。接下来，直接调用collection的insert()方法即可插入数据，代码如下：

result = collection.insert(student)
print(result)

在MongoDB中个，每条数据其实都有一个_id属性来唯一标识。如果没有显式指明该属性，MongoDB会自动产生一个ObjeciId类型的_id属性。insert()方法会在执行后返回_id值。
运行结果如下：

5bc94da41e97270cd4d7d18b

当然，我们也可以同时插入多条数据，只需要以列表形式传递即可，示例如下：

import pymongo
client = pymongo.MongoClient(host='localhost', port=27017)
db = client.test
collection = db.students
student1 = {
	'id':'20170101',
	'name':'Jordan',
	'age':20,
	'gender':'male'
}
student2 = {
	'id':'20170202',
	'name':'Mike',
	'age':21,
	'gender':'male'
}
result = collection.insert([student1, student2])
print(result)

返回结果是对应的_id的集合：

[ObjectId('5bc95e101e97270704b43a73'), ObjectId('5bc95e101e97270704b43a74')]

实际上，在PyMongo 3.x版本中，官方已经不推荐使用insert()方法了。当然，继续使用也没有什么问题。官方推荐使用insert_one()和insert_many()方法来分别插入单条记录和多条记录，示例如下：

import pymongo
client = pymongo.MongoClient(host='localhost', port=27017)
db = client.test
collection = db.students
student1 = {
	'id':'20170101',
	'name':'Jordan',
	'age':20,
	'gender':'male'
}
student2 = {
	'id':'20170202',
	'name':'Mike',
	'age':21,
	'gender':'male'
}
result = collection.insert_many([student1, student2])
print(result)
print(result.inserted_ids)

运行结果如下：

<pymongo.results.InsertManyResult object at 0x000001AA9B21A788>
[ObjectId('5bc95f651e97270704b43a79'), ObjectId('5bc95f651e97270704b43a7a')]

使用insert_one()和insert_many()方法，可以调用inserted_id和inserted_ids属性获取_id。

查询

插入数据后，我们可以利用find_one()或find()方法进行查询，其中find_one()查询得到的是单个结果，find()则返回一个生成器对象。示例如下：

result = collection.find_one({'name':'Mike'})
print(type(result))
print(result)

这里我们查询name为Mike的数据，它的返回结果是字典类型，运行结果如下：

<class 'dict'>
{'_id': ObjectId('5bc95dda1e97270704b43a71'), 'id': '20170202', 'name': 'Mike', 'age': 21, 'gender': 'male'}

可以发现，它多了_id属性，这就是MongoDB在插入过程中自动添加的。
此外，我们也可以根据ObjectId来查询，此时需要使用bson库里面的objectid：

from bson.objectid import ObjectId
result = collection.find_one({'_id':ObjectId('5bc95dda1e97270704b43a71')})
print(result)

其查询结果依然是字典类型，具体如下：

{'_id': ObjectId('5bc95dda1e97270704b43a71'), 'id': '20170202', 'name': 'Mike', 'age': 21, 'gender': 'male'}

当然，如果查询结果不存在，则会返回None。
对于多条数据的查询，我们可以使用find()方法。例如，这里查找年龄为20的数据，示例如下：

results = collection.find({'age':20})
print(results)
for result in results:
	print(result)

运行结果如下：

<pymongo.cursor.Cursor object at 0x000001AA9B18F048>
{'_id': ObjectId('5bc94da41e97270cd4d7d18b'), 'id': '20170101', 'name': 'Jordan', 'age': 20, 'gender': 'male'}
{'_id': ObjectId('5bc95dda1e97270704b43a70'), 'id': '20170101', 'name': 'Jordan', 'age': 20, 'gender': 'male'}
{'_id': ObjectId('5bc95e101e97270704b43a73'), 'id': '20170101', 'name': 'Jordan', 'age': 20, 'gender': 'male'}
{'_id': ObjectId('5bc95f4d1e97270704b43a76'), 'id': '20170101', 'name': 'Jordan', 'age': 20, 'gender': 'male'}
{'_id': ObjectId('5bc95f651e97270704b43a79'), 'id': '20170101', 'name': 'Jordan', 'age': 20, 'gender': 'male'}

返回结果是Cursor类型，它相当于一个生成器，我们需要遍历取到所有的结果，其中每个结果都是字典类型。
如果要查询年龄大于20的数据，则写法如下：

results = collection.find({'age':{'$gt':20}})

另外，还可以进行正则匹配查询。例如，查询名字以M开头的学生数据，示例如下：

results = collection.find({'name':{'$regex':'^M.*'}})

这里使用$regex来指定正则匹配，^M.*代表以M开头的正则表达式。

符号	含义	示例	示例含义
$regex	匹配正则表达式	{‘name’:{’$regex’:’^M.*’}}	name以M开头
$exists	属性是否存在	{‘name’:{’$exists’:True}}	name属性存在
$type	类型判断	{‘age’:{’$type’:‘int’}}	age的类型为int
$mod	数字模操作	{‘age’:{’$mod’:[5,0]}}	年龄模5余0
$text	文本查询	{‘KaTeX parse error: Expected '}', got 'EOF' at end of input: text':{'search’:‘Mike’}}	text类型的属性中包含Mike字符串
$where	高级条件查询	{’$where’:‘obj.fans_count == obj.follows_count’}	自身粉丝数等于关注数

计数

要统计查询结果有多少条数据，可以调用count()方法。比如，统计所有数据条数：

count = collection.find().count()
print(count)

或者统计符合某个条件的数据：

count = collection.find({'age':20}).count()
print(count)

运行结果是一个数值，即符合条件的数据条数。

排序

排序时，直接调用sort()方法，并在其中传入排序的字段及升降标志即可。示例如下：

results = collection.find().sort('name':pymongo.ASCENDING)
print([result['name'] for result in results])

这里我们调用pymongo.ASCENDING指定升序。如果要降序排列，可以传入pymongo.DESCENGING。

偏移

在某些情况下，我们可能想只取某几个元素，这时可以利用skip()方法偏移几个位置，比如偏移2，就忽略前两个元素，得到第三个及已有的元素：

results = collection.find().sort('name', pymongo.ASCENDING).skip(2)
print([result['name'] for result in results])

另外，还可以用limit()方法指定要取的结果个数，示例如下：

results = collection.find().sort('name', pymongo.ASCENDING).skip(2).limit(2)
print([result['name'] for result in results])

如果不适用limit()方法，原本会返回三个结果，加了限制后，会截取两个结果返回。
值得注意的是，在数据库数量非常庞大的时候，如千万、亿级别，最好不要使用大的偏移量来查询数据，因为这样很可能导致内存溢出。此时可以使用类似如下操作来查询：

from bson.objectid import ObjectId
collection.find({'_id':{'$gt':ObjectId('5bc95e101e97270704b43a73')}})

这时需要记录好上次查询的_id。