MongoDB学习笔记（一）

一、什么是MongoDB
MongoDB 是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。

在高负载的情况下，添加更多的节点，可以保证服务器性能。

MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案。

MongoDB 将数据存储为一个文档，数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档，数组及文档数组。

MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。

MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。

二、什么是NoSQL
NoSQL，指的是非关系型的数据库。NoSQL有时也称作Not Only SQL的缩写，是对不同于传统的关系型数据库的数据库管理系统的统称。

NoSQL用于超大规模数据的存储。（例如谷歌或Facebook每天为他们的用户收集万亿比特的数据）。这些类型的数据存储不需要固定的模式，无需多余操作就可以横向扩展。

今天我们可以通过第三方平台（如：Google,Facebook等）可以很容易的访问和抓取数据。用户的个人信息，社交网络，地理位置，用户生成的数据和用户操作日志已经成倍的增加。我们如果要对这些用户数据进行挖掘，那SQL数据库已经不适合这些应用了, NoSQL 数据库的发展却能很好的处理这些大的数据。

NoSQL的优点/缺点

优点:

• 高可扩展性
• 分布式计算
• 低成本
• 架构的灵活性，半结构化数据
• 没有复杂的关系

缺点:

• 没有标准化
• 有限的查询功能（到目前为止）
• 最终一致是不直观的程序

三、数据库安装

安装教程：https://www.runoob.com/mongodb/mongodb-window-install.html

安装版本：V4.0.8

在这里记录一下自己遇到的坑：

1.install mongoDB compass
在第一次安装的时候，没有注意勾选上了安装这个部分，结果安装程序一直卡在那块。最后又重新安装了一次才解决了问题。mongoDB compass主要是MongoDB的一个图形化界面，后期可以单独安装。

2.安装中提示启动失败
之前MongoDB按照默认路径装到了C盘。后来因为C盘的空间有限，后来又卸载安装在了E盘。之前在C盘安装的时候，顺风顺水没有出一点问题。但是在E盘安装时，遇到了一些问题。在安装程序还在进行的时候，突然跳出来一个提示，显示MongoDB服务无法启动。通过查找一些资料，知道了当系统启动服务的时候需要获得管理员权限，当程序安装在C盘的时候，安装程序可以直接获得较高的权限，但是安装在其他位置，就会因为安装权限不足，导致服务无法启动。 这时点击忽略，直接完成安装，之后通过命令行获取系统管理员权限后，手动启动服务。

3.安装MongoDB服务出现问题
当程序安装完成之后，就需要安装windows服务了，MongoDB中已经为我们写好了配置文件，通过这个配置文件，即可安装windows服务。具体的命令是：mongod --config “E:\MongoDB\bin\mongod.cfg” --install

本想着，安装服务然后启动服务就可以可以使用了，但是这样却出现了问题：Unrecognized option:mp这就令人非常抓狂了，配置文件是官方提供的，它怎么能说mp是无效的属性呢？

无奈之下，硬着头皮去官网上查找cfg文档。最后把整个文档都翻烂了，都没找到mp属性。最后我心想，既然你没有这个属性，我试着把它删掉吧。在文档中删掉了这一行，ok问题解决。。。这简直了，官方提供的配置文件，尽然出现这样的问题，心累。。。

【注意】：使用MongoDB服务安装命令，会自动创建日志文件，但不会初始化数据库。必须使用启动window–MongoDB服务或使用mongod --dbpath D:\Program\MongoDB\data创建数据库实例（生成数据库文件）

这里补充一下配置文件修改过程中遇到的坑：

• 配置文件中不能使用Tab键进行缩进
• 属性名与属性值之间，必须用:空格进行连接，如果不添加空格，属性将无法识别

最后在记录一下MongoDB服务相关的命令，以备不时之需：

• 删除windows服务：sc delete MongoDB
• 启动服务 ：net start MongoDB
• 停止服务：net stop MongoDB
• 更新服务配置：mongod -f E:\MongoDB\bin\mongod.cfg—Ps：在更新服务配置的过程中出现：Failed global initialization: FileNotOpen的报错.根据他的提示，无法打开日志文件。出现这个问题的原因是因为，日志的地址没有改动，旧日志与新日志之间权限出现了冲突。导致无法更新。可以尝试删除服务，重新创建来解决这个问题。

四、数据库连接及权限管理

使用MongoDB中有一个很大的困惑，尽然不需要密码就可以登录？那它的安全性如何保证呢？权限划分又是如何进行呢？对比MySQL在安装成功之后就会有个初始密码，MongoDB是不是不安全呢？下面我们就分析一下，这些问题：

1.启动服务
通过上一个章节的操作，我们已将数据库安装就绪。但将数据库数据库服务运行起来还需要启动服务。MongoDB的服务有两种，一种是启动windows的服务，另一种是通过命令行来创建临时的服务。

当服务没启动，就直接链接数据库，会抛出Error: couldn’t connect to server 127.0.0.1:27017错误。

• window服务模式：在管理员权限下，使用net命令进行服务控制。window服务是隐式的工作的，它将所有的日志都写入log日志文件中，本身并没有进行对运行的结果进行输出。在整个数据库，在正式服务模式下，都是使用这种方式

• 命令行模式：在不启动动window服务的前提下，也可以通过建立一个命令行窗口来提供MongoDB服务。这个模式下是显示输出的内容的，即日志内容会直接打印在命令行窗口中。这种方式更利于数据库应用的开发调试，更加直观的显示数据的操作与异常。当关闭命令行窗口后，MongoDB服务将会停止。

  • dbpath：指定数据库路径
  • logpath：指定日志路径
  • fork：以守护进程的方式运行MongoDB，创建服务器进程
  • auth：启用用户身份验证（默认是不使用的）
  • cpu：定期显示CPU的CPU利用率和iowait
  • port：指定端口号

  a.命令行启动
  使用命令行模式启动服务，以便于观察数据库的变化。

  • 不使用身份验证启动服务：mongod --dbpath “E:\MongoDB\data”

  命令行中抛出了这样的警告

WARNING: Access control is not enabled for the database.
Read and write access to data and configuration is unrestricted.

这个警告是因为数据库使用了非身份验证验证模式启动，即mongod命令中没有使用–auth参数。也就是说不使用身份验证，任何人登入的都是超级管理员，在实际使用中需要额外注意。

• 使用身份验证启动服务：``mongod --dbpath “E:\MongoDB\data” --auth`

这个模式下登录mongo，依然可以连接成功，但是如果不进行身份验证，将无法对数据库进行操作。

b.window服务启动

当启动MongoDB服务之后，会按照配置文件设置的相关属性，来启动服务。注意配置文件中默认是不需要身份验证的，当安装结束之后，要修改配置文件为身份验证模式。

security:
  authorization: enabled

2.用户创建

对于数据库的首次访问，还没有任何的账户权限。非身份验证模式下，可以随意对数据库进行操作。身份验证模式下（首次登陆），只能进行数据库的一个账户的创建操作，所以此时应该添加系统账户管理员（userAdminAnyDatabase）。如果添加了其他的账户，将会导致数据库因权限不足无法进行任何操作。

• 数据库的用户及权限，都保存在admin数据库的users中。我们可以使用以下语句创建用户：

use admin
db.createUser({
    user:"userAdmin",
    pwd:"3832414122",
    roles:[{ role: "userAdminAnyDatabase",db:"admin"}]
})

• user：用户名
• pwd：密码
• roles：指定用户的角色。数组的元素必须是对象，且包含两个属性（role-权限，db-已经存在的数据库）

数据库用户角色（Database User Roles）：

• **read：**授予User只读数据的权限
• **readWrite：**授予User读写数据的权限

数据库管理角色（Database Administration Roles）：

• **dbAdmin：**在当前dB中执行管理操作
• **dbOwner：**在当前DB中执行任意操作
• **userAdmin：**在当前DB中管理User

备份和还原角色（Backup and Restoration Roles）：

• backup
• restore

跨库角色（All-Database Roles）：

• **readAnyDatabase：**授予在所有数据库上读取数据的权限
• **readWriteAnyDatabase：**授予在所有数据库上读写数据的权限
• **userAdminAnyDatabase：**授予在所有数据库上管理User的权限
• **dbAdminAnyDatabase：**授予管理所有数据库的权限

集群管理角色（Cluster Administration Roles）：

• clusterAdmin：授予管理集群的最高权限
• clusterManager：授予管理和监控集群的权限，A user with this role can access the config and local databases, which are used in sharding and replication, respectively.
• clusterMonitor：授予监控集群的权限，对监控工具具有readonly的权限
• hostManager：管理Server

根据用户所需权限，添加对应数据库的管理者。

• 使用db.auth(“user”,“pwd”);来在shell中切换用户角色。

3.使用身份验证连接到数据库

启动shell时，进行身份验证

ongo -u username -p

默认登录后链接不同服务

mongodb://[username:password@]host1[:port1][,host2[:port2],...[,hostN[:portN]]][/[database][?options]]

• 实例

使用用户 admin 使用密码 123456 连接到本地的 MongoDB 服务上。输出结果如下所示：

mongodb://admin:123456@localhost/

使用用户名fred，密码foobar登录132.232.169.227的4455端口的baz数据库。

mongodb://fred:foobar@132.232.169.227:4455/baz

4.修改密码

• 方法1：db.changeUserPassword(“usertest”,“changepass”);

• 方法2：db.updateUser(“usertest”,{pwd:“changepass1”})；
  5.修改权限

• db.updateUser(“usertest”,{roles:[ {role:“read”,db:“testDB”} ]})
  注：updateuser它是完全替换之前的值，如果要新增或添加roles而不是代替它 则使用方法： db.grantRolesToUser() 和 db.revokeRolesFromUser(）

• db.grantRolesToUser(“usertest”, [{role:“readWrite”, db:“testDB”},{role:“read”, db:“testDB”}]) # 修改权限

• db.revokeRolesFromUser(“usertest”,[{role:“read”, db:“testDB”}]) # 删除权限：

五、MongoDB数据类型

数据类型	描述	举例
32 位整数	32 位整数。shell 是不支持该类型的， shell 中默认会转换成 64位浮点数
64 位整数	64 位整数。shell 是不支持该类型的， shell 中默认会转换成 64位浮点数
64 位浮点数	64 位浮点数。shell 中的数字就是这一种类型	{ “x”： 3.14 ，“y” ： 3}
符号	shell 不支持，shell 会将数据库中的符号类型的数据自动转换成字符串
字符串	UTF-8 字符串	{ “foo”:“bar”}
对象 id	文档的 12 字节的唯一id	{ “id”: ObjectId()}
日期	从标准纪元开始的毫秒数	{ “date”:new Date()}
正则表达式	文档中可以包含正则表达式，遵循 JavaScript 的语法	{ “foo”:/foobar/i}
代码	文档中可以包含 JavaScript 代码	{ “x”： function() {}}
二进制数据	任意字节的二进制串组成， shell 不支持
最大值	表示可能的最大值， shell 不支持
最小值	表示可能的最小值， shell 不支持
未定义	undefined	{ “x”： undefined}
数组	值的集合或者列表	{ “arr”: [“a”,“b”]}
内嵌文档	文档可以作为文档中某个 key 的value	{ “x”:{“foo”:“bar”}}
null	表示空值或者未定义的对象	{ “x”:null}
布尔值	真或者假： true 或者false	{ “x”:true}

类型	数字	备注
Double	1
String	2
Object	3
Array	4
Binary data	5
Undefined	6	已废弃
Object id	7
Boolean	8
Date	9
Null	10
Regular Expression	11
JavaScript	13
Symbol	14
JavaScript (with scope)	15
32-bit integer	16
Timestamp	17
64-bit integer	18
Min key	255	Query with -1.
Max key	127

上面的大部分类型都是显而易见的，但是有必要详细解释一下对象 id类型。我们上面说了，对象 id类型是一个 12字节的唯一 id。每个字节 2位 16进制数，因此整个 id类型是一个 24位的字符串。

前面四个字节代表从标准纪元开始的时间戳，以秒为单位。

接下来三个字节表示机器号，MongoDB入门2——MongoDB数据类型一般是机器名的hash值。这可以保证不同机器产生的id不会冲突。

接下来两个字节表示进程id号，保证统一机器不同进程产生的id不冲突

最后三个是计数器的计数值，对于任意一秒钟，可以产生2^24个数

​ 我们之前提到过，如果不在插入的时候手动的添加_id键，那么系统会自动添加一个。尽管MongoDB的id类型被设计成轻量级的，但是这样还是会不好。毕竟服务器创建这个还是会有开销的。因此，这个工作一般会放到客户端来做。

六、数据库常规功能使用

1.创建数据库

use server1
db.server1.insert(obj);

【注意】数据库创建，必须要插入一条数据后，show dbs命令才会显示，数据库已经添加.

2.查看数据库

show dbs//查看所有数据库
db//查看当前数据库

【注意】这个操作并不会显示系统所有的数据库，而只显示当前登录用户被授权的数据库。

3.删除数据库

db.dropDatabase()//删除当前数据库

4.创建集合

db.createCollection(name, options)
db.createCollection("mycol", { capped : true, autoIndexId : true, size : 
   6142800, max : 10000 } )

参数说明：

• name: 要创建的集合名称
• options: 可选参数, 指定有关内存大小及索引的选项
• options 可以是如下参数：

字段	类型	描述
capped	布尔	（可选）如果为 true，则创建固定集合。固定集合是指有着固定大小的集合，当达到最大值时，它会自动覆盖最早的文档。 当该值为 true 时，必须指定 size 参数。
autoIndexId	布尔	（可选）如为 true，自动在 _id 字段创建索引。默认为 false。
size	数值	（可选）为固定集合指定一个最大值（以字节计）。 如果 capped 为 true，也需要指定该字段。
max	数值	（可选）指定固定集合中包含文档的最大数量。

5.查看集合

show collections

6.删除集合

db.collection.drop()

7.插入文档

MongoDB 使用 insert() 或 save() 方法向集合中插入文档.

db.COLLECTION_NAME.insert(document)
db.COLLECTION_NAME.save(document)
db.COLLECTION_NAME.insertMany([{"b": 3}, {'c': 4}])

【注意】：

• 如果插入数据是不存在的集合，将会自动创建集合。
• insert: 若新增数据的主键已经存在，则会抛 org.springframework.dao.DuplicateKeyException 异常提示主键重复，不保存当前数据。
• save: 若新增数据的主键已经存在，则会对当前已经存在的数据进行修改操作。

8.查询文档

db.collection.find(query, projection)

• query ：可选，使用查询操作符指定查询条件

操作	格式	范例	RDBMS中的类似语句
等于	{<key>:<value>}	db.col.find({"by":"菜鸟教程"}).pretty()	where by = '菜鸟教程'
小于	{<key>:{$lt:<value>}}	db.col.find({"likes":{$lt:50}}).pretty()	where likes < 50
小于或等于	{<key>:{$lte:<value>}}	db.col.find({"likes":{$lte:50}}).pretty()	where likes <= 50
大于	{<key>:{$gt:<value>}}	db.col.find({"likes":{$gt:50}}).pretty()	where likes > 50
大于或等于	{<key>:{$gte:<value>}}	db.col.find({"likes":{$gte:50}}).pretty()	where likes >= 50
不等于	{<key>:{$ne:<value>}}	db.col.find({"likes":{$ne:50}}).pretty()	where likes != 50
数据类型	{<key>:{$type:<number/string>}}	（db.col.find({"likes":{$type:1}}).pretty()	where likes != 50

也可以使用正则：db.col.find({title:/^教/})

• projection ：可选，使用投影操作符指定返回的键。查询时返回文档中所有键值， 只需省略该参数即可（默认省略）。
  • 返回指定字段和_id字段：在结果集中，只有item和qty字段，默认_id字段也是返回的。代码如下:db.inventory.find( { type: ‘food’}, { item: 1, qty: 1} )
  • 仅返回指定字段：可以通过在projection中指定排除_id字段将其从结果中去掉。代码如下:db.inventory.find( { type: ‘food’}, { item: 1, qty:1, _id:0} )
  • 返回除排除掉以外的字段：可以使用一个projection排除一个或者一组字段，如下： 代码如下:db.inventory.find( { type: ‘food’}, { type:0} )8
• 实例：

80>=likes>=50 AND (by = ‘学习’ OR title = ‘MongoDB 教程’)

db.col.find({"likes": {$gte:50,$lte:80}, $or: [{"by": "学习"},{"title": "MongoDB 教程"}]}，{name：1，likes：1，_id:0}).pretty()

ps：如果你需要以易读的方式来读取数据，可以使用 pretty() 方法，pretty() 方法以格式化的方式来显示所有文档。语法格式如下：

db.COLLECTION_NAME.find().pretty()

9.更新文档

update() 方法用于更新已存在的文档。语法格式如下：

db.collection.update(
   <query>,
   <update>,
   {
     upsert: <boolean>,
     multi: <boolean>,
     writeConcern: <document>
   }
)

参数说明：

• query : update的查询条件，类似sql update查询内where后面的，规则与查询部分相同。
• update : update的对象和一些更新的操作符（如,inc…）等，也可以理解为sql update查询内set后面的
• upsert : 可选，这个参数的意思是，如果不存在update的记录，是否插入objNew,true为插入，默认是false，不插入。
• multi : 可选，mongodb 默认是false,只更新找到的第一条记录，如果这个参数为true,就把按条件查出来多条记录全部更新。
• writeConcern :可选，抛出异常的级别。
  • WriteConcern.NONE:没有异常抛出
  • WriteConcern.NORMAL:仅抛出网络错误异常，没有服务器错误异常
  • WriteConcern.SAFE:抛出网络错误异常、服务器错误异常；并等待服务器完成写操作。
  • WriteConcern.MAJORITY: 抛出网络错误异常、服务器错误异常；并等待一个主服务器完成写操作。
  • WriteConcern.FSYNC_SAFE: 抛出网络错误异常、服务器错误异常；写操作等待服务器将数据刷新到磁盘。
  • WriteConcern.JOURNAL_SAFE:抛出网络错误异常、服务器错误异常；写操作等待服务器提交到磁盘的日志文件。
  • WriteConcern.REPLICAS_SAFE:抛出网络错误异常、服务器错误异常；等待至少2台服务器完成写操作。

我们在集合 col 中插入如下数据：

>db.col.update({'title':'MongoDB 教程'},{$set:{'title':'MongoDB'}})

1.$inc
{ $inc : { field : value } }。意思对一个数字字段field增加value。

【注意】value可以为整数也可以为负数。

2.$set
{ $set : { field : value } }。赋值语句

3. $unset
{ $unset : { field : 任意内容} }。就是删除field字段

4.$push
{ $push : { field : value } }。把value追加到field里面去，field一定要是数组类型才行，如果field不存在，会新增一个数组类型加进去。

5. $pushAll
{ $pushAll : { field : value_array } }。将数组中的每一项，追加多个值到一个数组字段内。

6.$addToSet
{ $addToSet : { field : value } }。增加一个值到数组内，而且只有当这个值不在数组内才增加。

7.$pop
删除最后一个值：{ $pop : { field : 1 } }

删除第一个值：{ $pop : { field : -1 } }

8.$pull
$pull : { field : value } }。从数组field内删除一个等于value值。

9.$pullAll
{ $pullAll : { field : value_array } }。可以一次删除数组内的多个值。

10.$ 操作符
$是他自己的意思，代表按条件找出的数组里面某项他自己。

> t.find()
{ "_id" : ObjectId("4b97e62bf1d8c7152c9ccb74"), "title" : "ABC",  "comments" : [ { "by" : "joe", "votes" : 3 }, { "by" : "jane", "votes" : 7 } ] }

> t.update( {'comments.by':'joe'}, {$inc:{'comments.$.votes':1}}, false, true )

> t.find()
{ "_id" : ObjectId("4b97e62bf1d8c7152c9ccb74"), "title" : "ABC",  "comments" : [ { "by" : "joe", "votes" : 4 }, { "by" : "jane", "votes" : 7 } ] }

10.删除文档

remove() 方法的基本语法格式如下所示：

db.collection.remove(
   <query>,
   {
     justOne: <boolean>,
     writeConcern: <document>
   }
)

参数说明：

• query :（可选）删除的文档的条件。

• justOne : （可选）如果设为 true 或 1，则只删除一个文档，如果不设置该参数，或使用默认值 false，则删除所有匹配条件的文档。

• writeConcern :（可选）抛出异常的级别。

11.输出结果限制

db.COLLECTION_NAME.find().limit(NUMBER)
db.COLLECTION_NAME.find().limit(NUMBER).skip(NUMBER)

limit限制输出个数，skip跳过输出个数。两者可以单独使用也可以结合使用。

12.排序

db.COLLECTION_NAME.find().sort({title:-1,likes:1})

sort()函数接收一个对象，对象的第一个属性为主排序，主排序相同的内容再实现后面属性的排序。

【注意】：skip(), limilt(), sort() 三个放在一起执行的时候，执行的顺序是先 sort(), 然后是 skip()，最后是显示的 limit()。

13.索引

建立索引可以提升数据查找的速度，基本语法格式如下所示：

db.collection.createIndex(keys, options)
db.col.createIndex({"title":1})

keys对象参数为1表示正序建立索引，-1表示逆序建立索引。如果添加多个属性为联合索引。

options可选属性如下表

Parameter	Type	Description
background	Boolean	建索引过程会阻塞其它数据库操作，background可指定以后台方式创建索引，即增加 “background” 可选参数。 “background” 默认值为false
unique	Boolean	建立的索引是否唯一。指定为true创建唯一索引。默认值为false
name	string	索引的名称。如果未指定，MongoDB的通过连接索引的字段名和排序顺序生成一个索引名称。用于索引删除
dropDups	Boolean	**3.0+版本已废弃。**在建立唯一索引时是否删除重复记录,指定 true 创建唯一索引。默认值为 false
sparse	Boolean	对文档中不存在的字段数据不启用索引；这个参数需要特别注意，如果设置为true的话，在索引字段中不会查询出不包含对应字段的文档.。默认值为 false.
expireAfterSeconds	integer	指定一个以秒为单位的数值，完成 TTL设定，设定集合的生存时间
v	index version	索引的版本号。默认的索引版本取决于mongod创建索引时运行的版本
weights	document	索引权重值，数值在 1 到 99,999 之间，表示该索引相对于其他索引字段的得分权重
default_language	string	对于文本索引，该参数决定了停用词及词干和词器的规则的列表。 默认为英语
language_override	string	对于文本索引，该参数指定了包含在文档中的字段名，语言覆盖默认的language，默认值为 language

其他索引操作

1、查看集合索引

db.col.getIndexes()

2、查看集合索引大小

db.col.totalIndexSize()

3、删除集合所有索引

db.col.dropIndexes()

4、删除集合指定索引

db.col.dropIndex("索引名称")

设置定时删除任务

利用 TTL 集合对存储的数据进行失效时间设置：经过指定的时间段后或在指定的时间点过期，MongoDB 独立线程去清除数据。

例如在数据记录中 createDate 为日期类型之后180删除：

db.col.createIndex({"createDate": 1},{expireAfterSeconds: 180})

由记录中设定日期点清除：使用{expireAfterSeconds: 0}

• 其他注意事项:
  • 索引关键字段必须是 Date 类型。
  • 非立即执行：扫描 Document 过期数据并删除是独立线程执行，默认 60s 扫描一次，删除也不一定是立即删除成功。
  • 单字段索引，混合索引不支持。