MongoDB笔记

一、MongoDB简介

mongoDB是一个非关系型数据库。和关系型数据库不同，它以键值对存储，结构不固定，每一条记录可以有不一样的键，每条记录可以根据需要增加自己的键值对。因为不局限于固定的结构，所以它降低了时间可空间的开销。

MongoDB是用C++语言编写的非关系型数据库。特点是高性能、易部署、易使用，存储数据十分方便，主要特性有：

面向集合存储，易于存储对象类型的数据

模式自由

支持动态查询

支持完全索引，包含内部对象

支持复制和故障恢复

使用高效的二进制数据存储，包括大型对象

文件存储格式为BSON(一种JSON的扩展)

二、常见的非关系型数据库

三、分关系型数据库的优缺点

1、优点：

a)简单的扩展

b)快速的读写

c)低廉的成本

d)灵活的数据模型

2、缺点：

a)不提供对sql的支持

b)支持的特性不够丰富

c)现有的产品不够成熟

四、mongolDB的基本概念

a)文档：document是mongoDB中的数据的基本单元。类似于关系型数据库中的行，但较之更为复杂。

b)集合：collection是文档的集合，类似于关系型数据库中表。

c)实例：mongoliaDB中的单个实例可以包含多个集合。相当于关系型数据库中库。

d)"_id"：每个一个文档都有一个特殊的键，它在文档所处的集合中是唯一的，相当于关系型数据库中的主键。

e)javaScriptshell：mongoDB的控制台。

五、mongolDB的数据类型

数据类型描述举例

null表示空值或者未定义的对象{"x":null}

布尔值真或者假：true或者false{"x":true}

32位整数32位整数。shell是不支持该类型的，

shell中默认会转换成64位浮点数

64位整数64位整数。shell是不支持该类型的，

shell中默认会转换成64位浮点数

64位浮点数64位浮点数。shell中的数字就是这一种类型{"x"：3.14，"y"：3}

字符串UTF-8字符串{"foo":"bar"}

符号shell不支持，shell会将数据库中的符号类型的数据自动转换成字符串

对象id文档的12字节的唯一id{"id":ObjectId()}

日期从标准纪元开始的毫秒数{"date":newDate()}

正则表达式文档中可以包含正则表达式，遵循JavaScript的语法{"foo":/foobar/i}

代码文档中可以包含JavaScript代码{"x"：function(){}}

未定义undefined{"x"：undefined}

数组值的集合或者列表{"arr":["a","b"]}

内嵌文档文档可以作为文档中某个key的value{"x":{"foo":"bar"}}

六、mongoDB的安装

a)MongoDB的安装非常简单，只需要将下载的MongoDB的压缩文件解压到任意目录，并将其中的bin目录加入到系统的path环境变量中即可。

见下图：

七、启动mongoDB

a)再启动mongoDB前需要手动创建一个mongoDB的文件存放目录。

如：D:\mongoDB_data

b)完成以上一步，重启一个命令行执行mongo命令进入mongoDB的控制台，默认连接名称为test的集合（相当于表）。

如下图：

c）如果需要连接到远程数据库可以使用mongoip:prot

八、mongoDB常用操作

1、创建与删除

a)创建实例（数据库）使用命令：use实例名称。效果如下图：

注意：使用use命令时如果后面跟的名称已经存在则只是进入该实例，否则才创建。

b）删除当前数据库使用命令：db.dorpDatabase()。效果如下图：

2、查看

c)查看所有的实例使用命令：showdbs。效果如下图：

d)查看当前实例使用命令：db。效果如下图：

e)查看当前实例中的说有集合使用命令：showtables或者showcollections。

效果如下图：

3、集合的创建和文档删除

f)创建集合有显式创建和隐式创建两种方式。

显式创建集合使用命令：db.createCollection(“集合名称”)。效果如图：

隐式创建集合使用命令：db.集合名.insert({“name:gaoxun”})。效果如下图：

隐式创建指创建集合并同时向集合中插入数据

g)删除文档使用命令：db..集合名.remove({删除条件});

注意：当没有删除条件时则删除集合中所有的文档。如果给定删除条件则按条件删除。

例如，db.c1.remove()为删除c1集合中的所有文档，db.c1.remove({name:”user1”})为删除c1集合中name为user1的文档

4、添加文档到集合中

h)向集合中添加文档使用命令：db.集合名称.insert({字段1：”值“，字段2：”值“}

可以发现添加一个文档的方式与隐式创建集合的方式是一样的。

5、集合的查询

i)查询集合中的文档使用db.集合名.find({查询条件})或者db.集合名.findOne()查询第一个文档。

查询集合中文档返回某些特定的键值如：

db.集合名.find({},{age:0})//返回age字段外的所有字段

db.集合名.find({条件},{age:0}//返回符合条件的文档中除了age列之外的所有列。

db.集合名.find({条件},{age:1}//只返回符合条件的文档中age列。

注意：“_id”字段始终都会返回哪怕没有明确指定。Age后面跟的0便是false1表示true

j)查询集合中的文档，使用条件表达式(<,<=,>,>=,!=)

//大于：field>value

db.集合名.find({field:{$gt:value}});

//小于：field<value

db.集合名.find({field:{$lt:value}});

//大于等于：field>=value

db.集合名.find({field:{$gte:value}});

//小于等于：field<=value

db.集合名.find({field:{$lte:value}});

//不等于：field!=value

db.集合名.find({field:{$ne:value}});

k)查询集合中的文档，统计(count)、排序(sort)、分页(skip、limit)

db.集合名.count();

db.集合名.find().count();

db.集合名.find({age:{$lt:5}}).count();

db.集合名.find().sort({age:1});

db.集合名.find().skip(2).limit(3);

db.集合名.find().sort({age:-1}).skip(2).limit(3);

db.集合名.find().sort({age:-1}).skip(2).limit(3).count();

db.集合名.find().sort({age:-1}).skip(2).limit(3).count(0);

db.集合名.find().sort({age:-1}).skip(2).limit(3).count(1);

l)查询集合中的文档,$all主要用来查询数组中的包含关系，查询条件中只要有一个不包含就不返回

m)查询集合中的文档,$in，类似于关系型数据库中的IN

n)查询集合中的文档,$nin，与$in相反

o)查询集合中的文档,$or，相当于关系型数据库中的OR，表示或者的关系，例如查询name为user2或者age为3的文档，命令为：

db.customer.find({$or:[{name:”user2”},{age:3}]})

p)查询集合中的文档,$exists，用于查询集合中存在某个键的文档或不存在某个键的文档，例如查询customer集合中存在name键的所有文档，可以使用db.customer.find({name:{$exists:1}})，

$exists:1表示真，指存在

$exists:0表示假，指不存在

q)查询集合中的文档，类似于关系型数据库，mongodb中也有游标的概念

6、集合的更新

更新集合中的文档，语法如下：

db.collection.update(criteria,objNew,upsert,multi)

参数说明：

criteria:用于设置查询条件的对象

objNew:用于设置更新内容的对象

upsert:如果记录已经存在，更新它，否则新增一个记录，取值为0或1

multi：如果有多个符合条件的记录，是否全部更新，取值为0或1

注意：默认情况下，只会更新第一个符合条件的记录

一般情况下后两个参数分别为0,1，即：

db.collection.update(criteria,objNew,0,1)

r)更新集合中的文档,将集合中name为user1的文档改成name为jack

s)更新集合中的文档,$set用来指定一个键的值，如果这个键不存在，则创建它。例如：

给name为user1的文档添加address，可以使用命令：

db.c1.update({name:”user1”},{$set:{address:”bj”}},0,1)

将name为user1的文档修改address为tj，其它键值对不变,命令为：

db.c1.update({name:”user1”},{$set:{address:”tj”}},0,1)

t)更新集合中的文档,使用$inc将集合中name为user1的age加1，其它键不变,$inc表示使某个键值加减指定的数值

u)更新集合中的文档,$unset用来删除某个键，例如删除name为user1的文档中的address键，可以使用命令：

db.c1.update({name:”user1”},{$unset:{address:1}},0,1)

九、mongoDB的索引

索引就是用来加速查询的。数据库索引与书籍的索引类似：有了索引就不需要翻遍整本书，数据库则可以直接在索引中查找，使得查找速度能提高几个数量级。在索引中找到条目以后，就可以直接跳转到目标文档的位置。

mongoDB的索引有普通索引和唯一索引两种。

操作索引的命令

创建普通索引，使用命令db.collection.ensureIndex({key:1})

创建唯一索引，使用命令db.collection.ensureIndex({key:1}，{unique:true})

查看关于索引的相关信息，使用命令db.collection.stats()

查看查询使用索引的情况，使用命令db.collection.find({key:value}).explain()

删除索引，使用命令db.collection.dropIndex({key:1})

删除集合，也会将集合中的索引全部删除

十、固定集合(cappedcollection)

固定集合指的是事先创建而且大小固定的集合。

固定集合特性：固定集合很像环形队列，如果空间不足，最早的文档就会被删除，为新的文档腾出空间。一般来说，固定集合适用于任何想要自动淘汰过期属性的场景，没有太多的操作限制。

创建固定集合使用命令

db.createCollection(“collectionName”,{capped:true,size:100000,max:100});

size指定集合大小，单位为KB，max指定文档的数量

当指定文档数量上限时，必须同时指定大小。淘汰机制只有在容量还没有满时才会依据文档数量来工作。要是容量满了，淘汰机制会依据容量来工作。

十一、备份(mongodump)和恢复(mongorestore)

MongoDB提供了备份和恢复的功能，分别是MongoDB下载目录下的mongodump.exe和mongorestore.exe文件

备份数据使用下面的命令

>mongodump-hdbhost-ddbname-odbdirectory

-h：MongDB所在服务器地址，例如：127.0.0.1，当然也可以指定端口号：127.0.0.1:27017

-d：需要备份的数据库实例，例如：test

-o：备份的数据存放位置，例如：c:\data\dump，当然该目录需要提前建立，在备份完成后，系统自动在dump目录下建立一个test目录，这个目录里面存放该数据库实例的备份数据。

恢复数据使用下面的命令

>mongorestore-hdbhost-ddbname-directoryperdbdbdirectory

-h：MongoDB所在服务器地址

-d：需要恢复的数据库实例，例如：test，当然这个名称也可以和备份时候的不一样，比如test2

-directoryperdb：备份数据所在位置，例如：c:\data\dump\test

十二、导入(mongoimport)和导出(mongoexport)

导出数据可以使用命令

mongoexport-hdbhost-ddbname-ccollectionName-ooutput

参数说明:

-h数据库地址

-d指明使用的库

-c指明要导出的集合

-o指明要导出的文件名

导入数据可以使用命令

mongoimport-hdbhost-ddbname-ccollectionnameoutput

参数说明:

-h数据库地址

-d指明使用的库

-c指明要导入的集合

十三、安全认证

每个MongoDB实例中的数据库都可以有许多用户。如果开启了安全性检查，则只有数据库认证用户才能执行读或者写操作。

在认证的上下文中，MongoDB会将普通的数据作为admin数据库处理。admin数据库中的用户被视为超级用户(即管理员)。

在认证之后，管理员可以读写所有数据库，执行特定的管理命令，如listDatabases和shutdown。

在开启安全检查之前，一定要至少有一个管理员账号。

Mongodb的安全模式默认是关闭，此时它需要在一个可信任的运行环境中。

在可信任的环境中使用默认的关闭安全模式最简单，但是需要确保可信任的设备访问数据库的TCP端口，

这通常需要隔离数据库所在设备，使其完全无法访问外部网络。

确保网络安全

防火墙策略

以下是数据库必须的默认端口：

参见：

http://www.mongodb.org/display/DOCS/Security+and+Authentication#SecurityandAuthentication-RunninginaTrustedEnvironment(without\auth)

1，在分片式环境中

a，集群中的所有的mongodb进程（mongos，mongod，mongod--configsvr）应该是能相互连接的。

b，客户端必须能够连接到mongos进程，但是，它们可以从mongod被阻塞。

2，在非分片式副本环境中

a，所有客户端必须能连接所有非隐藏的副本集成员。

b，副本集的所有成员（mongod进程）需要能够相互通信。

IP地址绑定

默认情况下，mongod服务器将监听设备上所有可用的IP地址。可以在mongod的"bind_ip"配置项中限制监听的IP地址。

TCP端口号

mongodb默认监听下列端口号：

独立mongod服务：27017

mongos服务：27017

分片服务（mongod--shardsvr）：27018

配置服务（mongod--configsvr）：27019

mongod的网站统计页面端口：通常是28017，即独立mongod服务端口号加1000，可以用--nohttpinterface命令行参数禁止统计页面。

以上端口可以更改但不推荐。

在安全模式下运行（使用--auth或者--keyFile）

mongodb支持身份验证和简单的粗粒度访问控制的"安全模式".可以通过--anth和--keyFile命令行参数启用。

一个通过用户名密码认证的特定数据库，一旦通过认证，普通用户能够完全读写数据库。还可以创建只读用户，使其只有读取权限。

admin数据库是一个特殊的库。一些管理命名只能在admin数据库运行（所以只能由admin运行）。

当然，用户能访问admin数据库也能读写在服务或集群中的其他数据库。

注意：即使使用安全模式，也应该设置合理的防火墙策略。

admin身份登录

虽然通常admin账号能访问服务器上的任何数据库，但是必须先使用admin账号登录admin数据库，再use其他数据库，下面的登陆将会成功：

>useadmin

>db.auth("someAdminUser",password)>//andthenifdesiredswitch

databases:>usetest

下面这个登陆将会失败：

>usetest>db.auth("someAdminUser",password)

启用安全模式

要启用安全模式必须要1，在使用--auth启动服务前为admindb添加了一个用户。

或2，从本地连接（localhostconnection）添加第一个用户（如果不能添加用户，那应该是非本地连接）。

配置

首先要为数据库进程创建一个管理员账户，此用户保存在特殊的admin数据库中。

如果没有admin账户，可以从本地连接访问数据库而不需要验证。因此可以在数据库所在主机运行数据库shell和配置数据库：

$mongolocalhost/admin>//weareusingdatabaseadmin>db.addUser("theadmin","anadminpassword")

现在创建了一个管理员账户。现在必须要经过验证才能使用：

假如用户已经存在，在shell中执行addUser命令能够更新密码。

一些mongodb驱动也提供了类似shell中addUser的方法。

删除账户

shell中执行

>db.auth("theadmin","anadminpassword")

现在我们可以为其他数据库配置非管理员账户：

>//givejoeread/writeaccesstotheprojectxdatabase>useprojectx>db.addUser("joe","passwordForJoe")

添加只读账户（1.4+）：

修改密码

>useprojectx>db.addUser("guest","passwordForGuest",true)

查看用户列表：

用户信息存储在每个数据库的system.users集合。例如数据库projectX中的用户存储在projectX.system.users集合。

>db.system.users.find()

>db.removeUser(username)>//or>db.system.users.remove({user:username})>//checkitworked:>db.system.users.find()>//checkweareonthedbweintended:>db

分片式集群和副本集的安全模式

注意：在集群及副本集环境中必须使用keyFile参数，只使用--auth参数将无法工作。

2.2以下的版本不支持集群环境下的只读用户。

客户端在集群中进行认证与在单服务器环境中的认证是一样的，唯一的区别是集群中服务器使用密钥文件进行内部沟通。

密钥文件基本上是一个明文的文件，hash计算后被当做集群的内部密码。

设置副本集and/or分片的验证：

a,创建key文件并复制到集合的每个服务器中。密钥文件是字符的base64集，加上空格与换行符。

b,修改密钥文件权限为只能被当前用户读取。

c,启动集群中的服务器时使用命令行参数--keyFile/path/to/file

d,客户端都必须验证和才能使用

启动时可以不使用--auth参数，因为使用了--keyFile就必须验证，也就是隐含了--auth。但是--auth并不隐含--keyFile。

密码文件

密钥文件必须至少包含6个base64字符并且不大于1K(B包括空格)。

空格字符将被去除，所以对数据库来说，下面的密钥文件是一样的：

$echo-e"mysecretkey">key1$echo-e"mysecretkey\n">key2$echo-e"mysecretkey">key3$echo-e"my\r\nsecret\r\nkey\r\n">key4

十四、主从复制(主从集群)

主从复制是MongoDB最常用的复制方式。这种方式非常灵活，可用于备份、故障恢复、读扩展等。

最基本的设置方式就是建立一个主节点和一个或者多个从节点，每个从节点要知道主节点的地址。运行mongod--master就启动了主服务器。运行mongod--slave--sourcemaster_address则启动了从服务器，其中master_address就是上面主节点的地址。

主从节点建设

可以在一台计算机上来模拟主节点和从节点。在D盘创建两个目录master和slave，master目录作为主节点的数据文件的目录，slave目录作为从节点的数据文件的目录。

注意：主节点和从节点要指定不同的端口。

启动主节点：mongod--dbpathd:\master--port10000--master

启动从节点：mongod--dbpathd:\slave--port10001--slave--sourcelocalhost:10000

启动成功后就可以连接主节点进行操作了，而这些操作会同步到从节点。

注意：主节点可以进行增删改查所有操作，而从节点只能进行查询的操作

十五、副本集

副本集就是有自动故障恢复功能的主从集群。

主从集群和副本集最大的区别就是副本集没有固定的“主节点”；整个集群会选出一个“主节点”，当其挂掉后，又在剩下的从节点中选中其他节点为“主节点”，副本集总有一个活跃点(primary)和一个或多个备份节点(secondary)。

建设副本集

以三个节点为例：

节点1：

HOST：localhost:10001

LogFile：D:\mongodb\logs\node1\logs.txt

DataFile：D:\mongodb\dbs\node1

节点2：

HOST：localhost:10002

LogFile：D:\mongodb\logs\node2\logs.txt

DataFile：D:\mongodb\dbs\node2

节点3：

HOST：localhost:10003

LogFile：D:\mongodb\logs\node3\logs.txt

DataFile：D:\mongodb\dbs\node3

启动节点1：

mongod--dbpathD:\mongodb\dbs\node1--logpathD:\mongodb\logs\node1\logs.txt--logappend--port10001--replSetitcast/localhost:10002--master

启动节点2：

mongod--dbpathD:\mongodb\dbs\node2--logpathD:\mongodb\logs\node2\logs.txt--logappend--port10002--replSetitcast/localhost:10001

启动节点3：

mongod--dbpathD:\mongodb\dbs\node3--logpathD:\mongodb\logs\node3\logs.txt--logappend--port10003--replSetitcast/localhost:10001,localhost:10002

初始化节点(只能初始化一次)：随便登录一个节点,以10001为例

mongolocalhost:10001/admin

db.runCommand({

"replSetInitiate":{

"_id":"gx",

"members":[

{"_id":1,"host":"localhost:10001","priority":3},{"_id":2,"host":"localhost:10002","priority":2},{"_id":3,"host":"localhost:10003","priority":1}]}});

"priority"设置优先级，默认优先级为1,可以是1-1000的数字

副本集操作命令

查询当前主库，比如登录10002

mongolocalhost:10002

db.$cmd.findOne({ismaster:1});

十六、分片(sharding)

分片(sharding)是指将数据拆分，将其分散存在不同的机器上的过程。有时也用分区(partitioning)来表示这个概念。将数据分散到不同的机器上，不需要功能强大的大型计算机就可以储存更多的数据，处理更多的负载。

MongoDB分片的基本思想就是将集合切分成小块。这些块分散到若干片里面，每个片只负责总数据的一部分。应用程序不必知道哪片对应哪些数据，甚至不需要知道数据已经被拆分了，所以在分片之前要运行一个路由进程，该进程名为mongos。这个路由器知道所有数据的存放位置，所以应用可以连接它来正常发送请求。对应用来说，它仅知道连接了一个普通的mongod。路由器知道数据和片的对应关系，能够转发请求到正确的片上。如果请求有了回应，路由器将其收集起来回送给应用。

分片的原理

mongod:一个普通的数据库实例，如果不分片的话，我们会直接连上mongod。

数据的拆分

设置分片时，需要从集合里面选一个键，用该键的值作为数据拆分的依据。这个键称为片键(shardkey)。

用个例子来说明这个过程：假设有个文档集合表示的是人员。如果选择名字("name")作为片键，第一片可能会存放名字以A~F开头的文档，第二片存的G~P的名字，第三片存的Q~Z的名字。随着添加或者删除片，MongoDB会重新平衡数据，使每片的流量都比较均衡，数据量也在合理范围内。

分片的环境建设

1、创建三个目录，分别存放两个mongod服务的数据文件和config服务的数据文件

2、开启config服务器。mongos要把mongod之间的配置放到config服务器里面，所以首先开启它，这里就使用2222端口。命令为：

mongod--dbpathE:\sharding\config_node--port2222

3、开启mongos服务器。这里要注意的是我们开启的是mongos，端口3333，同时指定下config服务器。命令为：

mongos--port3333--configdb=127.0.0.1:2222

4、启动mongod服务器。对分片来说，也就是要添加片了，这里开启两个mongod服务，端口分别为：4444，5555。命令为：

mongod--dbpathE:\sharding\mongod_node1--port4444

mongod--dbpathE:\sharding\mongod_node2--port5555

5、服务配置。client直接跟mongos打交道，也就说明我们要连接mongos服务器，然后将4444，5555的mongod交给mongos,添加分片也就是addshard()。

6、开启数据库分片功能，命令很简单enablesharding(),这里就开启test数据库。

7、指定集合中分片的片键，这里就指定为person.name键。

8、通过mongos插入10w记录，然后通过printShardingStatus命令查看mongodb的数据分片情况。

十七、使用java操作MongoDB

下载mongoDB对Java支持的驱动包

驱动包下载地址：https://github.com/mongodb/mongo-java-driver/downloads

1、查询集合中所有文档

Mongomongo=newMongo("localhost",27017);

DBdb=mongo.getDB("test");

DBCollectioncollection=db.getCollection("customer");

DBCursordbCursor=collection.find();

System.out.println(collection.getCount());

while(dbCursor.hasNext()){

System.out.println(dbCursor.next());

}

mongo.close();

2、删除集合中的文档

Mongomongo=newMongo("localhost",27017);

DBdb=mongo.getDB("test");

DBCollectioncollection=db.getCollection("customer");

BasicDBObjecto=newBasicDBObject("_id",newObjectId("5199ee647d5fc789bc760c07"));

collection.remove(o);

mongo.close();

3、向集合中插入文档

Mongomongo=newMongo("localhost",27017);

DBdb=mongo.getDB("test");

DBCollectioncollection=db.getCollection("customer");

DBObjectc=newBasicDBObject();

c.put("name","jack");

c.put("age",24);

collection.insert(c);

mongo.close();

转载于:https://blog.51cto.com/1258012969/1299883