21.26 mongodb介绍
21.27 mongodb安装
21.28 连接mongodb
21.29 mongodb用户管理
21.30 mongodb创建集合、数据管理
21.31 php的mongodb扩展
21.32 php的mongo扩展
21.33 mongodb副本集介绍
21.34 mongodb副本集搭建
21.35 mongodb副本集测试
21.36 mongodb分片介绍
21.37/21.38/21.39 mongodb分片搭建
21.40 mongodb分片测试
21.41 mongodb备份恢复
扩展内容
mongodb安全设置 http://www.mongoing.com/archives/631
mongodb执行js脚本 http://www.jianshu.com/p/6bd8934bd1ca
一、mongodb介绍
官网www.mongodb.com C++编写,基于分布式的,属于NoSQL的一种,文档型的数据库 在NoSQL中mongodb是最像关系型数据库的 MongoDB 将数据存储为一个文档,数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档、数组及文档数组。 因为基于分布式,所以很容易扩展 关于JSON http://www.w3school.com.cn/json/index.asp JSON:JavaScript 对象表示法(JavaScript Object Notation)。 JSON 是存储和交换文本信息的语法。类似 XML。 JSON 比 XML 更小、更快,更易解析。
MongoDB和关系型数据库对比
关系型数据库数据结构
MongoDB数据结构
二、MongoDB安装
epel自带的mongodb版本为2.6,我们需要安装3.4版本
官方安装文档可参考: https://docs.mongodb.com/manual/tutorial/install-mongodb-on-red-hat/
cd /etc/yum.repos.d/ vim mongodb.repo //创建,并加入如下内容 [mongodb-org-3.4] name=MongoDB Repository baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.4/x86_64/ gpgcheck=1 enabled=1 gpgkey=https://www.mongodb.org/static/pgp/server-3.4.asc yum list |grep mongodb //可以看到mongodb相关的rpm包 yum install -y mongodb-org
三、MongoDB连接
配置文件 : vim /etc/mongod.conf
绑定多个ip,用逗号分隔
systemctl start mongod //启动服务
在本机可以直接运行命令mongo进入到mongodb shell中
如果mongodb监听端口并不是默认的27017,则在连接的时候需要加--port 选项,例如
mongo --port 27018
连接远程mongodb,需要加--host,例如
mongo --host 127.0.0.1
如果设置了验证,则在连接的时候需要带用户名和密码
mongo -uusername -ppasswd --authenticationDatabase 数据库名 //这个和MySQL挺像
四、MongoDB用户管理
(1)MongoDB库管理
db.version() //查看版本 use userdb //如果库存在就切换,不存在就创建 show dbs //查看库,此时userdb并没有出现,这是因为该库是空的,还没有任何集合,只需要创建一个集合就能看到了 db.createCollection('clo1') //创建集合clo1,在当前库下面创建 db.dropDatabase() //删除当前库,要想删除某个库,必须切换到那个库下 db.stats() //查看当前库的信息 db.serverStatus() //查看mongodb服务器的状态
(2)给用户设置密码:
use admin //需要切换到admin库 db.createUser( { user: "admin", customData: {description: "superuser"}, pwd: "admin123", roles: [ { role: "root", db: "admin" } ] } ) user指定用户,customData为说明字段,可以省略,pwd为密码,roles指定用户的角色,db指定库名
use admin //切换到admin库 db.system.users.find() //列出所有用户,需要切换到admin库 show users //查看当前库下所有的用户
在创建一个用户: db.createUser({user:"tobe",pwd:"123456",roles:[{role:"read",db:"testdb"}]}) db.dropUser('tobe') //删除用户
use 库名 切换到指定库,如果库不存在,会创建该库
使用用户名和密码登陆,还需要编辑启动脚本: vim /usr/lib/systemd/system/mongod.service,在OPTIONS=后面增--auth
systemctl daemon-reload 重启服务 systemctl restart mongod
此时不使用用户名密码登陆会报错,没有授权
登陆后即可:
mongo --host 192.168.183.3 --port 27017 -u admin -p 'admin123' --authenticationDatabase "admin"
use db1 db.createUser( { user: "test1", pwd: "123aaa", roles: [ { role: "readWrite", db: "db1" }, {role: "read", db: "db2" } ] } ) test1用户对db1库读写,对db2库只读。 之所以先use db1,表示用户在 db1 库中创建,就一定要db1库验证身份,即用户的信息跟随随数据库。比如上述 test1虽然有 db2 库的读取权限,但是一定要先在db1库进行身份验证,直接访问会提示验证失败。 此时验证身份报错,是因为test1用户是db1中的,要到db1中才可以
(3)MongoDB用户角色
Read:允许用户读取指定数据库 readWrite:允许用户读写指定数据库 dbAdmin:允许用户在指定数据库中执行管理函数,如索引创建、删除,查看统计或访问system.profile userAdmin:允许用户向system.users集合写入,可以找指定数据库里创建、删除和管理用户 clusterAdmin:只在admin数据库中可用,赋予用户所有分片和复制集相关函数的管理权限。 readAnyDatabase:只在admin数据库中可用,赋予用户所有数据库的读权限 readWriteAnyDatabase:只在admin数据库中可用,赋予用户所有数据库的读写权限 userAdminAnyDatabase:只在admin数据库中可用,赋予用户所有数据库的userAdmin权限 dbAdminAnyDatabase:只在admin数据库中可用,赋予用户所有数据库的dbAdmin权限。 root:只在admin数据库中可用。超级账号,超级权限
五、mongodb创建集合、数据管理
创建集合:
db.createCollection("mycol", { capped : true, size : 6142800, max : 10000 } ) //语法:db.createCollection(name,options) name就是集合的名字,options可选,用来配置集合的参数,参数如下: capped true/false 是否封顶,(可选)如果为true,则启用封顶集合。封顶集合是固定大小的集合,当它达到其最大大小,会自动覆盖最早的条目。如果指定true,则也需要指定尺寸参数。 autoindexID true/false 是否自动创建索引,(可选)如果为true,自动创建索引_id字段的默认值是false。 size (可选)指定最大大小字节封顶集合。如果封顶如果是 true,那么你还需要指定这个字段。单位B max (可选)指定封顶集合允许在文件的最大数量。
db1库有读写权限,db2只能读
数据管理:
show collections //查看集合,或者使用show tables db.Account.insert({AccountID:1,UserName:"123",password:"123456"}) //Account为集合,如果集合不存在,直接插入数据,则mongodb会自动创建集合 db.Account.update({AccountID:1},{"$set":{"Age":20}}) //更新,填加一个age字段 db.Account.find() //查看所有文档
db.Account.find({AccountID:1}) //根据条件查询 db.Account.remove({AccountID:1}) //根据条件删除 db.Account.drop() //删除所有文档,即删除集合 db.mycol.drop() 删除mycol db.printCollectionStats() // 然后查看集合状态
六、PHP的mongodb扩展
mongodb.so
针对不同情况使用mongodb.so或mongo.so
mongodb.so两种安装方法 方法一: 可以到pecl官网上下载mongodb的扩展源码包 cd /usr/local/src/ wget https://pecl.php.net/get/mongodb-1.3.0.tgz tar zxvf mongodb-1.3.0.tgz cd mongodb-1.3.0 /usr/local/php-fpm/bin/phpize ./configure --with-php-config=/usr/local/php-fpm/bin/php-config make && make install 会生成mongodb.so vim /usr/local/php-fpm/etc/php.ini //增加 extension = mongodb.so /usr/local/php-fpm/bin/php -m /etc/init.d/php-fpm restart
方法二:
cd /usr/local/src/ git clone https://github.com/mongodb/mongo-php-driver cd mongo-php-driver git submodule update --init /usr/local/php-fpm/bin/phpize ./configure --with-php-config=/usr/local/php-fpm/bin/php-config make && make install vim /usr/local/php-fpm/etc/php.ini //增加 extension = mongodb.so /usr/local/php-fpm/bin/php -m /etc/init.d/php-fpm restart
七、php的mongo扩展
mongo.so
到pecl官网上下载mongo的扩展源码包 cd /usr/local/src/ wget https://pecl.php.net/get/mongo-1.6.16.tgz tar zxvf mongo-1.6.16.tgz cd mongodb-1.6.16 /usr/local/php-fpm/bin/phpize ./configure --with-php-config=/usr/local/php-fpm/bin/php-config make && make install vim /usr/local/php-fpm/etc/php.ini //增加 extension = mongo.so /usr/local/php-fpm/bin/php -m /etc/init.d/php-fpm restart
测试mongo扩展,如果只安装了mongodb,没有安装mongo,使用如下代码会报错
参考文档 https://docs.mongodb.com/ecosystem/drivers/php/
http://www.runoob.com/mongodb/mongodb-php.html
cd /data/wwwroot/default/ 根据nginx配置文件,到指定目录创建
vim mongo.php
<?php $m = new MongoClient(); // 连接 $db = $m->test; // 获取名称为 "test" 的数据库 $collection = $db->createCollection("runoob"); echo "集合创建成功"; ?> curl localhost/mongo.php
进入mongodb数据库中查看是否创建test库和runoob集合
mongo --host 192.168.183.3 --port 27017 -u admin -p 'admin123' --authenticationDatabase "admin"
vim /usr/lib/systemd/system/mongod.service Environment="OPTIONS=-f /etc/mongod.conf" 把之前设置的--auth去掉,不在使用用户名和密码认证 curl localhost/mongo.php 此时查看是已经创建成功的
八、MongoDB架构-副本集(副本集是集群)
早期版本使用master-slave,一主一从或一主多从和MySQL类似,但slave在此架构中为只读,当主库宕机后,从库不能自动切换为主
目前已经淘汰master-slave模式,改为副本集,这种模式下有一个主(primary),和多个从(secondary),只读。支持给它们设置权重,当主宕掉后,权重最高的从切换为主
在此架构中还可以建立一个仲裁(arbiter)的角色,它只负责裁决,而不存储数据
再此架构中读写数据都是在主上,要想实现负载均衡的目的需要手动指定读库的目标server
副本集架构图
九、MongoDB副本集搭建
三台机器,都需要安装mongodb: 192.168.183.3(primary) 192.168.183.33(secondary) 192.168.183.133(secondary)
把/etc/yum.repos.d/目录下的mongodb.repo传到另外两台机器或在另外两台机器上创建,复制mongodb.repo内容: scp mongodb.repo 192.168.183.133:/etc/yum.repos.d/ yum install -y mongodb-org
编辑三台机器的配置文件,需要去掉配置文件中的--auth用户认证(/usr/lib/systemd/system/mongod.service):
vim /etc/mongod.conf
bindIp: 127.0.0.1,192.168.183.3 注意bindIp后面要定义的本机ip,逗号分隔 更改或增加: replication: //把此行前面的#删除 ##定义oplog大小,类似Mysql主从的binlog oplogSizeMB: 20//前面有两个空格 ##定义副本集名称 replSetName: tobe//前面有两个空格 systemctl restart mongod
注意防火墙及iptables规则
连接主,在主上运行命令mongo
想要在哪台机器上做PRIMARY,就在哪台机器下做一下操作,一开始设置完成后三个都会是SECONDARY,但是系统会自动设置PRIMARY
use admin config={_id:"tobe",members:[{_id:0,host:"192.168.183.3:27017"},{_id:1,host:"192.168.183.33:27017"},{_id:2,host:"192.168.183.133:27017"}]} 配置副本集,id为副本集名称,members指定成员
rs.initiate(config) rs.status() //查看状态 如果两个从上的状态为"stateStr" : "STARTUP", 则需要进行如下操作 var config={_id:"tobe",members:[{_id:0,host:"192.168.183.3:27017"},{_id:1,host:"192.168.183.33:27017"},{_id:2,host:"192.168.183.133:27017"}]} rs.reconfig(config) 此时再次查看rs.status()会发现从的状态变为SECONDARY
十、MongoDB副本集测试
主上建库,建集合
use mydb 建库 db.acc.insert({AccountID:1,UserName:"123",password:"123456"}) 建集合 show dbs use mydb show tables
从上查看
show dbs
若出现下图错误需要执行:
rs.slaveOk()
副本集更改权重模拟主宕机
执行rs.config()可以查看三台机器的权重(priority),默认三台机器权重都为1,如果任何一个权重设置为比其他的高,则该台机器马上切换为primary角色,所以我们预设三台机器的权重分别为:183.3->3,183.33->2,183.133->1
主上执行 iptables -I INPUT -p tcp --dport 27017 -j DROP
此时第一台应该为PRIMARY的机器已经报错了,并且第二台机器变为了PRIMARY
主上: iptables -D INPUT -p tcp --dport 27017 -j DROP
清除规则后,第一台机器可以连接mongo,但是PRIMARY不会自动回到第一台机器上,除非是有权重的情况下
以下操作到新的PRIMARY机器下操作:
更改权重:
权重越高,优先级越高
cfg=rs.conf() 设置变量 cfg.members[0].priority = 3 cfg.members[1].priority = 2 cfg.members[2].priority = 1 rs.reconfig(cfg) 执行此操作设置生效 这样的话,第二个节点将会成为候选主节点。
此时第一台机器切换为PRIMARY
十一、MongoDB分片介绍
分片小的单元就是副本集,分片是由多个副本集组成的 分片就是将数据库进行拆分,将大型集合分隔到不同服务器上。比如,本来100G的数据,可以分割成10份存储到10台服务器上,这样每台机器只有10G的数据。 通过一个mongos的进程(路由)实现分片后的数据存储与访问,也就是说mongos是整个分片架构的核心,对客户端而言是不知道是否有分片的,客户端只需要把读写操作转达给mongos即可。 虽然分片会把数据分隔到很多台服务器上,但是每一个节点都是需要有一个备用角色的,这样能保证数据的高可用。 当系统需要更多空间或者资源的时候,分片可以让我们按需方便扩展,只需要把mongodb服务的机器加入到分片集群中即可
MongoDB分片架构图
config servers 配置服务器,也需要由副本集组成
MongoDB分片相关概念
mongos: 数据库集群请求的入口,,可以设置多个,所有的请求都通过mongos进行协调,不需要在应用程序添加一个路由选择器,mongos自己就是一个请求分发中心,它负责把对应的数据请求请求转发到对应的shard服务器上。在生产环境通常有多mongos作为请求的入口,防止其中一个挂掉所有的mongodb请求都没有办法操作。
config server: 配置服务器,存储所有数据库元信息(路由、分片)的配置。mongos本身没有物理存储分片服务器和数据路由信息,只是缓存在内存里,配置服务器则实际存储这些数据。mongos第一次启动或者关掉重启就会从 config server 加载配置信息,以后如果配置服务器信息变化会通知到所有的 mongos 更新自己的状态,这样 mongos 就能继续准确路由。在生产环境通常有多个 config server 配置服务器,因为它存储了分片路由的元数据,防止数据丢失!
shard: 存储了一个集合部分数据的MongoDB实例,每个分片是单独的mongodb服务或者副本集,在生产环境中,所有的分片都应该是副本集。
十二、mongodb分片搭建
分片搭建 -服务器规划
三台机器: 192.168.183.3 192.168.183.33 192.168.183.133
三台机器 A B C A搭建:mongos、config server、副本集1主节点、副本集2仲裁、副本集3从节点 B搭建:mongos、config server、副本集1从节点、副本集2主节点、副本集3仲裁 C搭建:mongos、config server、副本集1仲裁、副本集2从节点、副本集3主节点 端口分配:mongos 20000、config 21000、副本集1 27001、副本集2 27002、副本集3 27003 三台机器全部关闭firewalld服务和selinux,或者增加对应端口的规则
分片搭建 – 创建目录
分别在三台机器上创建各个角色所需要的目录
mkdir -p /data/mongodb/mongos/log mkdir -p /data/mongodb/config/{data,log} mkdir -p /data/mongodb/shard1/{data,log} mkdir -p /data/mongodb/shard2/{data,log} mkdir -p /data/mongodb/shard3/{data,log}
分片搭建–config server配置
mongodb3.4版本以后需要对config server创建副本集
添加配置文件(三台机器都操作)
mkdir /etc/mongod/ 创建配置文件目录
vim /etc/mongod/config.conf //加入如下内容,config server配置文件
pidfilepath = /var/run/mongodb/configsrv.pid dbpath = /data/mongodb/config/data logpath = /data/mongodb/config/log/congigsrv.log logappend = true bind_ip = 192.168.183.3 #0.0.0.0全部监听,三台机器注意ip不同,写每台机器的ip port = 21000 fork = true #进程相关的配置 configsvr = true #declare this is a config db of a cluster; replSet=configs #副本集名称 maxConns=20000 #设置最大连接数
启动三台机器的config server
mongod -f /etc/mongod/config.conf //启动config server,三台机器都要操作
登录任意一台机器的21000端口,初始化副本集
mongo --host 192.168.183.3 --port 21000 config = { _id: "configs", members: [ {_id : 0, host : "192.168.183.3:21000"},{_id : 1, host : "192.168.183.33:21000"},{_id : 2, host : "192.168.183.133:21000"}] } rs.initiate(config) rs.status() 可以查看三台机器的状态
分片搭建–分片配置
添加配置文件(分别在三台机器都操作,每台机器都需要:shard1.conf,shard2.conf,shard3.conf)
日志路径:/data/mongodb/shard1/log
vim /etc/mongod/shard1.conf //加入如下内容
pidfilepath = /var/run/mongodb/shard1.pid dbpath = /data/mongodb/shard1/data logpath = /data/mongodb/shard1/log/shard1.log logappend = true bind_ip = 0.0.0.0 #此处绑定的ip最好更改为本机的ip,目的是为了更加安全 port = 27001 fork = true httpinterface=true #打开web监控 rest=true replSet=shard1 #副本集名称 shardsvr = true #declare this is a shard db of a cluster; maxConns=20000 #设置最大连接数
vim /etc/mongod/shard2.conf //加入如下内容
pidfilepath = /var/run/mongodb/shard2.pid dbpath = /data/mongodb/shard2/data logpath = /data/mongodb/shard2/log/shard2.log logappend = true bind_ip = 0.0.0.0 port = 27002 fork = true httpinterface=true #打开web监控 rest=true replSet=shard2 #副本集名称 shardsvr = true #declare this is a shard db of a cluster; maxConns=20000 #设置最大连接数
vim /etc/mongod/shard3.conf //加入如下内容
pidfilepath = /var/run/mongodb/shard3.pid dbpath = /data/mongodb/shard3/data logpath = /data/mongodb/shard3/log/shard3.log logappend = true bind_ip = 0.0.0.0 port = 27003 fork = true httpinterface=true #打开web监控 rest=true replSet=shard3 #副本集名称 shardsvr = true #declare this is a shard db of a cluster; maxConns=20000 #设置最大连接数
启动shard1:
mongod -f /etc/mongod/shard1.conf //三台机器都要操作
搭建shard1的副本集
作为仲裁的节点无法当做登录入口
登录3或者33任何一台机器的27001端口初始化副本集,133之所以不行,是因为shard1我们把133这台机器的27001端口作为了仲裁节点
001机器上:
mongo --port 27001 use admin config = { _id: "shard1", members: [ {_id : 0, host : "192.168.183.3:27001"}, {_id: 1,host : "192.168.183.33:27001"},{_id : 2, host : "192.168.183.133:27001",arbiterOnly:true}] } rs.initiate(config)
启动shard2
mongod -f /etc/mongod/shard2.conf //三台机器都要操作
登录33或者133任何一台机器的27002端口初始化副本集,3之所以不行,是因为shard2我们把3这台机器的27002端口作为了仲裁节点
mongo --port 27002 use admin config = { _id: "shard2", members: [ {_id : 0, host : "192.168.183.3:27002" ,arbiterOnly:true},{_id : 1, host : "192.168.183.33:27002"},{_id : 2, host : "192.168.183.133:27002"}] } rs.initiate(config)
002机器上:
启动shard3
mongod -f /etc/mongod/shard3.conf //三台机器都要操作
登录3或者133任何一台机器的27003端口初始化副本集,33之所以不行,是因为shard3我们把33这台机器的27003端口作为了仲裁节点
003机器上:
mongo --port 27003 use admin config = { _id: "shard3", members: [ {_id : 0, host : "192.168.183.3:27003"}, {_id : 1, host : "192.168.183.33:27003", arbiterOnly:true}, {_id : 2, host : "192.168.183.133:27003"}] } rs.initiate(config)
rs.status() 查看状态
分片搭建–配置路由服务器mongos
添加配置文件(三台机器都操作)
日志路径: /data/mongodb/mongos/log
vim /etc/mongod/mongos.conf //加入如下内容
pidfilepath = /var/run/mongodb/mongos.pid logpath = /data/mongodb/mongos/log/mongos.log logappend = true bind_ip = 0.0.0.0 port = 20000 fork = true configdb = configs/192.168.183.3:21000, 192.168.183.33:21000, 192.168.183.133:21000 #监听的配置服务器,只能有1个或者3个,configs为配置服务器的副本集名字 maxConns=20000 #设置最大连接数 启动mongos服务,注意命令,前面都是mongod,这里是mongos mongos -f /etc/mongod/mongos.conf
启动时出现:failed: Name or service not known,不算错误。 日志中关注error相关的信息即可
分片搭建–启用分片
登录任何一台20000端口
mongo --port 20000
把所有分片和路由器串联,注意ip之间不要有空格
sh.addShard("shard1/192.168.183.3:27001,192.168.183.33:27001,192.168.183.133:27001") sh.addShard("shard2/192.168.183.3:27002,192.168.183.33:27002,192.168.183.133:27002") sh.addShard("shard3/192.168.183.3:27003,192.168.183.33:27003,192.168.183.133:27003")
查看集群状态
sh.status() rs.status()查看副本集 sh.status()查看分片
分片搭建–测试
登录任何一台20000端口
mongo --port 20000 use admin db.runCommand({ enablesharding : "testdb"}) 或者 sh.enableSharding("testdb") //指定要分片的数据库,如果不存在,会自动创建 db.runCommand( { shardcollection : "testdb.table1",key : {id: 1} } ) 或者 sh.shardCollection("testdb.table1",{"id":1} ) //#指定数据库里需要分片的集合和片键 use testdb for (var i = 1; i <= 10000; i++) db.table1.save({id:i,"test1":"testval1"}) //插入测试数据
use testdb
sh.status() 或者 db.table1.stats() //查看table1状态
十三、MongoDB备份恢复
(1)MongoDB备份
如果使用了分片,要到分片的端口中去备份
-d 指定库,-c指定集合
备份指定库,对应库中有几个集合,就会生成几个集合的文件,它会在/tmp/mongobak 目录下面生成一个testdb的目录
mongodump --host 127.0.0.1 --port 20000 -d testdb -o /tmp/mongobak
备份所有库
mongodump --host 127.0.0.1 --port 20000 -o /tmp/mongobak/alldatabase
指定备份集合,它依然会生成testdb目录,再在这目录下面生成两个文件
mongodump --host 127.0.0.1 --port 20000 -d testdb -c table1 -o /tmp/mongobak3/
导出集合为json文件
mongoexport --host 127.0.0.1 --port 20000 -d testdb -c table1 -o /tmp/table1.json
(2)MongoDB恢复
先把testdb库删除
恢复所有库
mongorestore -h 127.0.0.1 --port 20000 --drop /tmp/mongobak/alldatabase/ //其中dir是备份所有库的目录名字,其中--drop可选,意思是当恢复之前先把之前的数据删除,不建议使用
恢复指定库
mongorestore -h 127.0.0.1 --port 20000 -d testdb --drop /tmp/mongobak/alldatabase/testdb/ //-d跟要恢复的库名字,dir就是该库备份时所在的目录
恢复集合
mongorestore -d mydb -c table1 /tmp/mongobak/alldatabase/testdb/table1.bson // -c后面跟要恢复的集合名字,后面的路径是备份testdb库时生成文件所在路径,这里是一个bson文件的路径
导入集合
mongoimport -d testdb -c table1 --file /tmp/mongobak/alldatabase/testdb/table1.json