Python爬虫必学数据库：MongoDB

微信公众号：愤怒的it男，超多Python技术干货文章。

MongoDB由C++编写而成，是免费开源跨平台的非关系型数据库，与关系型数据库不同，MongoDB将数据存储在类似JSON的文档中，这使得数据库非常灵活和可伸缩。

一、环境安装

第一步：需要在MongoDB的官网（https://www.mongodb.com/try/download/community）下载免费的MongoDB安装包。

第二步：安装并启动MongoDB服务。

第三步：需要使用pip命令安装MongoDB驱动程序来访问MongoDB数据库。

pip install pymongo

第四步：在操作MongoDB数据库的Python代码中，需要导入pymongo。

import pymongo

二、常用概念

1、数据库

数据库是用于存储数据的物理容器，每个数据库在文件系统中都有属于自己的文件集。一台MongoDB服务器中可以创建多个数据库，并且每个数据库都是独立的，都有属于自己的集合和权限，而且不同数据库中的数据会放置在不同的文件中。

2、集合

集合就是一组MongoDB文档的组合，类似于关系型数据库（例如 MySQL）中的数据表。集合存在于数据库中，且没有固定的结构，您可以向集合中插入不同格式或类型的数据。

3、文档

文档是MongoDB中数据的基本单位，由BSON格式（一种计算机数据交换格式，类似于JSON）的键/值对组成，类似于关系型数据库中的一行行数据，但要相对复杂一些。文档具有动态模式，同一集合中的文档不需要具有相同的字段，即使是相同的字段也可以是不同的类型。

4、概念差异

5、优点好处

这种文档型数据存储方式有几个好处：

1. 文档的数据类型可以对应到语言的数据类型，如数组类型（Array）和对象类型（Object）；

2. 文档之间可以嵌套，有时关系型数据库涉及几个表的操作，在MongoDB中一次就能完成，可以减少昂贵的连接花销；

3. 文档不对数据结构加以限制，不同的数据结构可以存储在同一个集合中。

三、创建数据库和集合

1、创建数据库

import pymongo
myclient = pymongo.MongoClient("mongodb://localhost:27017/")
mydb = myclient["mydatabase"]

2、创建集合

import pymongo
myclient = pymongo.MongoClient("mongodb://localhost:27017/")
mydb = myclient["mydatabase"]
mycol = mydb["customers"]

3、删除集合

import pymongo
myclient = pymongo.MongoClient("mongodb://localhost:27017/")
mydb = myclient["mydatabase"]
mycol = mydb["customers"]
mycol.drop()

三、增删改查操作

1、增加文档（Insert）

• 插入一个文档

insert_one()方法返回InsertOneResult对象，该对象拥有属性inserted_id，用于保存插入文档的id。如果没有指定_id字段，MongoDB将为每个文档分配一个唯一的ID。

import pymongo
myclient = pymongo.MongoClient("mongodb://localhost:27017/")
mydb = myclient["mydatabase"]
mycol = mydb["customers"]
mydict = { "_id": 1, "platform": "微信公众号", "name": "愤怒的it男", "introduce": "人生苦短，Python是岸！" }
x = mycol.insert_one(mydict)
print(x.inserted_id)

• 插入多个文档

insert_many()方法返回InsertManyResult对象，该对象拥有属性inserted_ids，用于保存被插入文档的id。如果没有指定_id字段，MongoDB将为每个文档分配一个唯一的ID。

import pymongo
myclient = pymongo.MongoClient("mongodb://localhost:27017/")
mydb = myclient["mydatabase"]
mycol = mydb["customers"]
mylist = [
  { "_id": 1, "platform": "微信公众号", "name": "愤怒的it男", "introduce": "人生苦短，Python是岸！" },
  { "_id": 2, "platform": "微信公众号", "name": "angry_it_man", "introduce": "人生苦短，Python是岸！" },
  { "_id": 3, "platform": "CSDN", "name": "愤怒的it男", "introduce": "人生苦短，Python是岸！" },
  { "_id": 4, "platform": "知乎", "name": "愤怒的it男", "introduce": "人生苦短，Python是岸！" },
  { "_id": 5, "platform": "稀土掘金", "name": "愤怒的it男", "introduce": "人生苦短，Python是岸！" },
  { "_id": 6, "platform": "bilibili", "name": "愤怒的it男", "introduce": "人生苦短，Python是岸！" },
]
x = mycol.insert_many(mylist)
print(x.inserted_ids)

2、删除文档（Delete）

• 删除一个文档

delete_one()方法的参数是query对象。

import pymongo
myclient = pymongo.MongoClient("mongodb://localhost:27017/")
mydb = myclient["mydatabase"]
mycol = mydb["customers"]
myquery = { "platform": "bilibili" }
mycol.delete_one(myquery)

• 删除多个文档

delete_many()方法的参数是query对象。

import pymongo
myclient = pymongo.MongoClient("mongodb://localhost:27017/")
mydb = myclient["mydatabase"]
mycol = mydb["customers"]
myquery = { "platform": "微信公众号"} 
x = mycol.delete_many(myquery)
print(x.deleted_count, " documents deleted.")

• 删除所有文档

import pymongo
myclient = pymongo.MongoClient("mongodb://localhost:27017/")
mydb = myclient["mydatabase"]
mycol = mydb["customers"]
x = mycol.delete_many({})
print(x.deleted_count, " documents deleted.")

• query对象

3、修改文档（Update）

• 修改一个文档

update_one()方法的第一个参数是query对象，第二个参数是定义文档新值的对象。

import pymongo
myclient = pymongo.MongoClient("mongodb://localhost:27017/")
mydb = myclient["mydatabase"]
mycol = mydb["customers"]
myquery = { "platform": "bilibili"}
newvalues = { "$set": { "introduce": "欢迎关注微信公众号：愤怒的it男" } }
mycol.update_one(myquery, newvalues)

• 修改多个文档

update_many()方法的第一个参数是query对象，第二个参数是定义文档新值的对象。

import pymongo
myclient = pymongo.MongoClient("mongodb://localhost:27017/")
mydb = myclient["mydatabase"]
mycol = mydb["customers"]
myquery = { "platform": {"$ne":"bilibili"}}
newvalues = { "$set": { "introduce": "欢迎关注微信公众号：愤怒的it男" } }
mycol.update_many(myquery, newvalues)

4、查询文档（Find）

• 查找一个文档

find_one()方法的第一个参数是query对象，第二个参数是描述包含在结果中字段的对象。

第二个参数不允许同时指定0和1值（除非其中一个字段是_id字段）。如果指定值为0的字段，则所有其他字段的值为1，反之亦然。

import pymongo
myclient = pymongo.MongoClient("mongodb://localhost:27017/")
mydb = myclient["mydatabase"]
mycol = mydb["customers"]
myquery = { "platform": "微信公众号"}
x = mycol.find_one(myquery,{ "_id": 0, "platform": 1, "name": 1 })
print(x)

• 查找多个文档

find()方法的第一个参数是query对象，第二个参数是描述包含在结果中字段的对象。

第二个参数不允许同时指定0和1值（除非其中一个字段是_id字段）。如果指定值为0的字段，则所有其他字段的值为1，反之亦然。

import pymongo
myclient = pymongo.MongoClient("mongodb://localhost:27017/")
mydb = myclient["mydatabase"]
mycol = mydb["customers"]
myquery = { "platform": {"$ne":"bilibili"}}
for x in mycol.find(myquery,{ "_id": 0, "platform": 1, "name": 1 }):
  print(x)

五、其他高级操作

1、排序文档（Sort）

sort()方法的第一个参数是字段名称，第二个参数是方向（默认升序）。

import pymongo
myclient = pymongo.MongoClient("mongodb://localhost:27017/")
mydb = myclient["mydatabase"]
mycol = mydb["customers"]
mydoc = mycol.find().sort("_id", -1)
for x in mydoc:
  print(x)

2、限定文档（Limit）

limit()方法接受一个参数，定义的数字表示返回的文档数。

import pymongo
myclient = pymongo.MongoClient("mongodb://localhost:27017/")
mydb = myclient["mydatabase"]
mycol = mydb["customers"]
myresult = mycol.find().limit(4)
for x in myresult:
  print(x)

微信公众号：愤怒的it男，超多Python技术干货文章。