MongoDB介绍
关系型数据库数据结构
MongoDB数据结构
MongoDB安装
[root@harry-01 ~]# cd /etc/yum.repos.d/
[root@harry-01 yum.repos.d]# vim mongodb-org-3.4.reop
[mongodb-org-3.4]
name=MongoDB Repository
baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.4/x86_64/
gpgcheck=1
enabled=1
gpgkey=https://www.mongodb.org/static/pgp/server-3.4.asc
[root@harry-01 yum.repos.d]# yum list | grep mongodb
[root@harry-01 yum.repos.d]# yum list | grep mongodb
mongodb-org.x86_64 3.4.19-1.el7 mongodb-org-3.4
mongodb-org-mongos.x86_64 3.4.19-1.el7 mongodb-org-3.4
mongodb-org-server.x86_64 3.4.19-1.el7 mongodb-org-3.4
mongodb-org-shell.x86_64 3.4.19-1.el7 mongodb-org-3.4
mongodb-org-tools.x86_64
[root@harry-01 yum.repos.d]# yum -y install mongodb-org
已加载插件：fastestmirror
Loading mirror speeds from cached hostfile
* base: mirrors.aliyun.com
* extras: mirrors.aliyun.com
* updates: ap.stykers.moe
正在解决依赖关系
--> 正在检查事务
---> 软件包 mongodb-org.x86_64.0.3.4.19-1.el7 将被 安装/etc/mongo.conf //mongoDB的配置文件
连接MongoDB
systemctl start mongod //启动服务
[root@harry-01 ~]# systemctl start mongod
[root@harry-01 ~]# ps aux | grep mongod
mongod 6553 1.5 2.1 973328 40952 ? Sl 13:06 0:00 /usr/bin/mongod -f /etc/mongod.conf
root 6581 0.0 0.0 112724 988 pts/1 R+ 13:07 0:00 grep --color=auto mongod
[root@harry-01 ~]# netstat -lntp | grep mongo
tcp 0 0 127.0.0.1:27017 0.0.0.0:* LISTEN 6553/mongod
[root@harry-01 ~]# netstat -lntp | grep mongod
tcp 0 0 127.0.0.1:27017 0.0.0.0:* LISTEN 6553/mongod
[root@harry-01 ~]# 在本机可以直接运行命令mongo进入到mongodb shell中
[root@harry-01 ~]# mongo
MongoDB shell version v3.4.19
connecting to: mongodb://127.0.0.1:27017
MongoDB server version: 3.4.19
Welcome to the MongoDB shell. 如果mongodb监听端口并不是默认的27017，则在连接的时候需要加--port 选项
mongo --port 27018
连接远程mongodb，需要加--host，例如
mongo --host 127.0.0.1
如果设置了验证，则在连接的时候需要带用户名和密码
mongo -uusername -ppasswd --authenticationDatabase db
MongoDB用户管理
[root@harry-01 ~]# mongo -u "admin" -p "123123" --authenticationDatabase "admin"
> use admin
switched to db admin
> db.createUser({user:"admin",customData:{description:"superuser"},pwd:"123123",roles:[{role:"root",db:"admin"}]})
Successfully added user: {
"user" : "admin",
"customData" : {
"description" : "superuser"
},
"roles" : [
{
"role" : "root",
"db" : "admin"
}
]
}
> use db1
switched to db db1
> db.createUser( { user: "test1", pwd: "123aaa", roles: [ { role: "readWrite", db: "db1" }, {role: "read", db: "db2" } ] } )
Successfully added user: {
"user" : "test1",
"roles" : [
{
"role" : "readWrite",
"db" : "db1"
},
{
"role" : "read",
"db" : "db2"
}
]
}
> > use db1
switched to db db1
> db.auth("test1","123aaa")
1
MongoDB用户角色
root：只在admin数据库中可用。超级账号，超级权限
MongoDB创建集合
> db.createCollection("mycol",{capped:true,size:6142800,max:10000})
{ "ok" : 1 }语法：db.createCollection(name,options)
> show collections #查看集合，或者使用show tables
mycol
> db.Account.insert({AccountlD:1,UserName:"123",password:"123456"})
#如果集合不存在，直接插入数据，则mongodb会自动创建集合
WriteResult({ "nInserted" : 1 })
> db.Account.update({AccountlD:1},{"$set":{"Age":20}})
#更新
WriteResult({ "nMatched" : 1, "nUpserted" : 0, "nModified" : 1 })
> db.Account.find() #查看所有文档
{ "_id" : ObjectId("5c879ed264c82e2e1f280c16"), "AccountlD" : 1, "UserName" : "123", "password" : "123456", "Age" : 20 }
> db.Account.find({AccountlD:1})#根据条件查询
{ "_id" : ObjectId("5c879ed264c82e2e1f280c16"), "AccountlD" : 1, "UserName" : "123", "password" : "123456", "Age" : 20 }
> db.Account.remove({AccountlD:1}) #根据条件删除
WriteResult({ "nRemoved" : 1 })
> db.Account.drop() #删除所有文档，即删除集合
true
> use dbname #先进入对应的库
switched to db dbname
> db.printCollectionStats() #查看集合状态
>
PHP连接MongoDB – mongodb.so
[root@harry-01 ~]# cd /usr/local/src/
[root@harry-01 src]# wget https://pecl.php.net/get/mongodb-1.3.0.tgz
[root@harry-01 src]# tar zxvf mongodb-1.3.0.tgz
[root@harry-01 mongodb-1.3.0]# /usr/local/php-fpm/bin/phpize
[root@harry-01 mongodb-1.3.0]# ./configure --with-php-config=/usr/local/php-fpm/bin/php-config
[root@harry-01 mongodb-1.3.0]# make
[root@harry-01 mongodb-1.3.0]# make install
vi /usr/local/php-fpm/etc/php.ini // 搜索 extension= 增加 extension = mongodb.so\
#/usr/local/php-fpm/bin/php -m
测试mongo扩展
vim /data/wwwroot/harry.com/1.php
$m = new MongoClient(); // 连接
$db = $m->test; // 获取名称为 "test" 的数据库
$collection = $db->createCollection("runoob");
echo "集合创建成功";
?>
curl localhost/1.php
MongoDB副本集
副本集架构图:
副本集搭建
rs.initiate(config)
{
"ok" : 0,
"errmsg" : "'192.168.31.138:27017' has data already, cannot initiate set.",
"code" : 110,
"codeName" : "CannotInitializeNodeWithData"
解决方法：先将从上的/etc/mongod.conf中 replication的配置注释掉
清空从里的库
> use admin
switched to db admin
> db.dropDatabase()
{ "dropped" : "admin", "ok" : 1 }
> show dbs
local 0.000GB
> use local
switched to db local
> db.dropDatabase()
{ "dropped" : "local", "ok" : 1 }
> show dbs
"errmsg" : "replSetInitiate quorum check failed because not all proposed set members responded affirmatively: ##这里说是不是所有的成员都已经果断的响应
解决办法：查看防火墙规则，selinux是否开启。
mongoDB副本集测试
aminglinux:PRIMARY> use mydb
switched to db mydb
aminglinux:PRIMARY> db.acc.insetr({AccountID:1,UserName:"123",password:"123456"})
aminglinux:PRIMARY> db.acc.insert({AccountID:1,UserName:"123",password:"123456"})
WriteResult({ "nInserted" : 1 })
aminglinux:PRIMARY> show dbs;
admin 0.000GB
local 0.000GB
mydb 0.000GB
aminglinux:PRIMARY> use mydb
switched to db mydb
aminglinux:PRIMARY> show tables
acc
aminglinux:PRIMARY> 从上检查：
aminglinux:SECONDARY> show dbs
2019-03-19T19:44:04.125+0800 E QUERY [thread1] Error: listDatabases failed:{
"ok" : 0,
"errmsg" : "not master and slaveOk=false",
"code" : 13435,
"codeName" : "NotMasterNoSlaveOk"
} :
_getErrorWithCode@src/mongo/shell/utils.js:25:13
Mongo.prototype.getDBs@src/mongo/shell/mongo.js:62:1
shellHelper.show@src/mongo/shell/utils.js:814:19
shellHelper@src/mongo/shell/utils.js:704:15
@(shellhelp2):1:1
aminglinux:SECONDARY> rs.slaveOk()
aminglinux:SECONDARY> show dbs
admin 0.000GB
local 0.000GB
mydb 0.000GB
aminglinux:SECONDARY> use mydb
switched to db mydb
aminglinux:SECONDARY> show tables
acc
aminglinux:SECONDARY>
副本集更改权重模拟主宕机
aminglinux:PRIMARY> cfg = rs.conf()
aminglinux:PRIMARY>
aminglinux:PRIMARY> cfg.members[0].priority = 3
3
aminglinux:PRIMARY> cfg.members[1].priority = 2
2
aminglinux:PRIMARY> cfg.members[2].priority = 1
1
aminglinux:PRIMARY> rs.reconfig(cfg)
{ "ok" : 1 }
aminglinux:PRIMARY>
bye
[root@harry-01 ~]# iptables -I INPUT -p tcp --dport 27017 -j DROP31.138权重为2的机器成为PRIMARY
"_id" : 1,
"name" : "192.168.31.138:27017",
"health" : 1,
"state" : 1,
"stateStr" : "PRIMARY",
"uptime" : 2692,
"optime" : {
"ts" : Timestamp(1552997408, 1),
"t" : NumberLong(18)
MongoDB分片介绍
•分片就是将数据库进行拆分，将大型集合分隔到不同服务器上。比如，本来100G的数据，可以分割成10份存储到10台服务器上，这样每台机器只有10G的数据。
• 通过一个mongos的进程（路由）实现分片后的数据存储与访问，也就是说mongos是整个分片架构的核心，对客户端而言是不知道是否有分片的，客户端只需要把读写操作转达给mongos即可。
• 虽然分片会把数据分隔到很多台服务器上，但是每一个节点都是需要有一个备用角色的，这样能保证数据的高可用。
• 当系统需要更多空间或者资源的时候，分片可以让我们按需方便扩展，只需要把mongodb服务的机器加入到分片集群中即可
MongoDB分片相关概念
• mongos: 数据库集群请求的入口，所有的请求都通过mongos进行协调，不需要在应用程序添加一个路由选择器，mongos自己就是一个请求分发中心，它负责把对应的数据请求请求转发到对应的shard服务器上。在生产环境通常有多mongos作为请求的入口，防止其中一个挂掉所有的mongodb请求都没有办法操作。
• config server: 配置服务器，存储所有数据库元信息（路由、分片）的配置。mongos本身没有物理存储分片服务器和数据路由信息，只是缓存在内存里，配置服务器则实际存储这些数据。mongos第一次启动或者关掉重启就会从 config server 加载配置信息，以后如果配置服务器信息变化会通知到所有的 mongos 更新自己的状态，这样 mongos 就能继续准确路由。在生产环境通常有多个 config server 配置服务器，因为它存储了分片路由的元数据，防止数据丢失！
• shard: 存储了一个集合部分数据的MongoDB实例，每个分片是单独的mongodb服务或者副本集，在生产环境中，所有的分片都应该是副本集。
分片搭建
服务器规划
•三台机器 A B C
• A搭建：mongos、config server、副本集1主节点、副本集2仲裁、副本集3从节点
• B搭建：mongos、config server、副本集1从节点、副本集2主节点、副本集3仲裁
• C搭建：mongos、config server、副本集1仲裁、副本集2从节点、副本集3主节点
• 端口分配：mongos 20000、config 21000、副本集1 27001、副本集2 27002、副本集3 27003
• 三台机器全部关闭firewalld服务和selinux，或者增加对应端口的规则
创建目录
•分别在三台机器上创建各个角色所需要的目录
• mkdir -p /data/mongodb/mongos/log
• mkdir -p /data/mongodb/config/{data,log}
• mkdir -p /data/mongodb/shard1/{data,log}
• mkdir -p /data/mongodb/shard2/{data,log}
• mkdir -p /data/mongodb/shard3/{data,log}
config server配置
•mongodb3.4版本以后需要对config server创建副本集
• 添加配置文件(三台机器都操作)
• mkdir /etc/mongod/
• vim /etc/mongod/config.conf //加入如下内容
pidfilepath = /var/run/mongodb/configsrv.pid
dbpath = /data/mongodb/config/data
logpath = /data/mongodb/config/log/congigsrv.log
logappend = true
bind_ip = 0.0.0.0
port = 21000
fork = true
configsvr = true #declare this is a config db of a cluster;
replSet=configs #副本集名称
maxConns=20000 #设置最大连接数
•启动三台机器的config server
• mongod -f /etc/mongod/config.conf //三台机器都要操作
mongod -f /etc/mongod/config.conf
about to fork child process, waiting until server is ready for connections.
forked process: 14599
child process started successfully, parent exiting• 登录任意一台机器的21000端口，初始化副本集
• mongo --port 21000
• config = { _id: "configs", members: [ {_id : 0, host : "192.168.133.130:21000"},{_id : 1, host : "192.168.133.132:21000"},{_id : 2, host : "192.168.133.133:21000"}] }
• rs.initiate(config)
{ "ok" : 1 }
[root@harry-01 ~]# mongo --host 192.168.31.137 --port 21000
>config = { _id: "config", members: [ {_id : 0, host : "192.168.31.137:21000"},{_id : 1, host : "192.168.31.138:21000"},{_id : 2, host : "192.168.31.139:21000"}] }
{
"_id" : "config",
"members" : [
{
"_id" : 0,
"host" : "192.168.31.137:21000"
},
{
"_id" : 1,
"host" : "192.168.31.138:21000"
},
{
"_id" : 2,
"host" : "192.168.31.139:21000"
}
]
}
> rs.initiate(config)
{ "ok" : 1 }
分片配置
•添加配置文件(三台机器都操作)
shard1.conf shard2.conf sharde.conf
• vim /etc/mongod/shard1.conf //加入如下内容
pidfilepath = /var/run/mongodb/shard1.pid
dbpath = /data/mongodb/shard1/data
logpath = /data/mongodb/shard1/log/shard1.log
logappend = true
bind_ip = 0.0.0.0
port = 27001
fork = true
httpinterface=true #打开web监控
rest=true
replSet=shard1 #副本集名称
shardsvr = true #declare this is a shard db of a cluster;
maxConns=20000 #设置最大连接数
•启动shard1
• mongod -f /etc/mongod/shard1.conf //三台机器都要操作
[root@harry-01 ~]# mongod -f /etc/mongod/shard1.conf
about to fork child process, waiting until server is ready for connections.
forked process: 6391
child process started successfully, parent exiting登录137或者138任何一台机器的27001端口初始化副本集，139之所以不行，是因为shard1我们把137这台机器的27001端口作为了仲裁节点
[root@harry-01 ~]# mongo --port 27001
> use admin
switched to db admin
> config = { _id: "shard1", members: [ {_id : 0, host : "192.168.31.137:27001"}, {_id: 1,host : "192.168.31.138:27001"},{_id : 2, host : "192.168.31.139:27001",arbiterOnly:true}] }
{
"_id" : "shard1",
"members" : [
{
"_id" : 0,
"host" : "192.168.31.137:27001"
},
{
"_id" : 1,
"host" : "192.168.31.138:27001"
},
{
"_id" : 2,
"host" : "192.168.31.139:27001",
"arbiterOnly" : true
}
]
}
> rs.initiate(config)
{ "ok" : 1 }
shard1:OTHER> • 启动shard2
• mongod -f /etc/mongod/shard2.conf //三台机器都要操作
[root@harry-01 ~]# mongod -f /etc/mongod/shard2.conf
about to fork child process, waiting until server is ready for connections.
forked process: 6512
child process started successfully, parent exiting登录138或者139任何一台机器的27002端口初始化副本集，137之所以不行，是因为shard2我们把137这台机器的27002端口作为了仲裁节点
[root@harry-01 ~]# mongo --port 27002
> use admin
switched to db admin
> config = { _id: "shard2", members: [ {_id : 0, host : "192.168.31.137:27002" ,arbiterOnly:true},{_id : 1, host : "192.168.31.138:27002"},{_id : 2, host : "192.168.31.139:27002"}] }
{
"_id" : "shard2",
"members" : [
{
"_id" : 0,
"host" : "192.168.31.137:27002",
"arbiterOnly" : true
},
{
"_id" : 1,
"host" : "192.168.31.138:27002"
},
{
"_id" : 2,
"host" : "192.168.31.139:27002"
}
]
}
> rs.initiate(config)
{ "ok" : 1 }
shard2:OTHER> •启动shard3
• mongod -f /etc/mongod/shard3.conf //三台机器都要操作
[root@harry-01 ~]# mongod -f /etc/mongod/shard3.conf
about to fork child process, waiting until server is ready for connections.
forked process: 6577
child process started successfully, parent exiting登录137或者139任何一台机器的27003端口初始化副本集，138之所以不行，是因为shard3我们把138这台机器的27003端口作为了仲裁节点
[root@harry-01 ~]# mongo --port 27003
MongoDB shell version v3.4.20
connecting to: mongodb://127.0.0.1:27003/
MongoDB server version: 3.4.20
> use admin
switched to db admin
> config = { _id: "shard3", members: [ {_id : 0, host : "192.168.31.137:27003"}, {_id : 1, host : "192.168.31.138:27003", arbiterOnly:true}, {_id : 2, host : "192.168.31.139:27003"}] }
{
"_id" : "shard3",
"members" : [
{
"_id" : 0,
"host" : "192.168.31.137:27003"
},
{
"_id" : 1,
"host" : "192.168.31.138:27003",
"arbiterOnly" : true
},
{
"_id" : 2,
"host" : "192.168.31.139:27003"
}
]
}
> rs.initiate(config)
{ "ok" : 1 }
shard3:OTHER> 配置路由服务器
•添加配置文件(三台机器都操作)
• vim /etc/mongod/mongos.conf //加入如下内容
pidfilepath = /var/run/mongodb/mongos.pid
logpath = /data/mongodb/mongos/log/mongos.log
logappend = true
bind_ip = 0.0.0.0
port = 20000
fork = true
configdb = configs/192.168.31.137:21000, 192.168.31.138:21000, 192.168.31.139:21000 #监听的配置服务器,只能有1个或者3个，configs为配置服务器的副本集名字
maxConns=20000 #设置最大连接数
启用分片
•登录任何一台20000端口
• mongo --port 20000
• 把所有分片和路由器串联
•sh.addShard("shard1/192.168.31.137:27001,192.168.31.138:27001,192.168.31.139:27001")
•sh.addShard("shard2/192.168.31.137:27002,192.168.31.138:27002,192.168.31.139:27002")
•sh.addShard("shard3/192.168.31.137:27003,192.168.31.138:27003,192.168.31.139:27003")
• 查看集群状态
sh.status()
测试
•登录任何一台20000端口
• mongo --port 20000
• use admin
• db.runCommand({ enablesharding : "testdb"}) 或者
• sh.enableSharding("testdb") //指定要分片的数据库
• db.runCommand( { shardcollection : "testdb.table1",key : {id: 1} } ) 或者
• sh.shardCollection("testdb.table1",{"id":1} ) //#指定数据库里需要分片的集合和片键
• use testdb
• for (var i = 1; i <= 10000; i++) db.table1.save({id:i,"test1":"testval1"})//插入测试数据
db.table1.stats()//查看table1状态
MongoDB备份
•备份指定库
• mongodump --host 127.0.0.1 --port 20000 -d mydb -o /tmp/mongobak
• 它会在/tmp/目录下面生成一个mydb的目录
• 备份所有库
• mongodump --host 127.0.0.1 --port 20000 -o /tmp/mongobak/alldatabase
• 指定备份集合
• mongodump --host 127.0.0.1 --port 20000 -d mydb -c c1 -o /tmp/mongobak/
• 它依然会生成mydb目录，再在这目录下面生成两个文件
• 导出集合为json文件
• mongoexport --host 127.0.0.1 --port 20000 -d mydb -c c1 -o /tmp/mydb2/1.json
MongoDB恢复
•恢复所有库
• mongorestore -h 127.0.0.1 --port 20000 --drop dir/ //其中dir是备份所有库的目录名字，其中--drop可选，意思是当恢复之前先把之前的数据删除，不建议使用
• 恢复指定库
• mongorestore -d mydb dir/ //-d跟要恢复的库名字，dir就是该库备份时所在的目录
• 恢复集合
•mongorestore -d mydb -c testc dir/mydb/testc.bson // -c后面跟要恢复的集合名字，dir是备份mydb库时生成文件所在路径，这里是一个bson文件的路径
• 导入集合
• mongoimport -d mydb -c testc --file /tmp/testc.json
1729
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
