环境准备
本教程演示 mongodb4.4 的分片部署(两分片服务器(Shard)一个路由服务器(Mongos)一个配置服务器(Config Server),使用本地伪分布式)。
分片架构图解
从图中可以看出,分片集群中主要由三个部分组成:
- 分片服务器(Shard)
- 路由服务器(Mongos)
- 配置服务器(Config Server)
分片服务器有三个:
- Shard1
- Shard2
- Shard3
路由服务器有两个:
- Mongos1
- Mongos2
配置服务器有三个:
- 主
- 副
- 副
主要有如下所述三个主要组件:
- Shard: 用于存储实际的数据块,实际生产环境中一个 shard server 角色可由几台机器组个一个 replica set(副本集群) 承担,防止主机单点故障(3.6版本后必须配置成副本集群)。
- Config Server: mongod实例,存储了整个 ClusterMetadata ,其中包括 chunk 信息(3.4版本后必须部署成副本集群)。
- Query Routers: 前端路由,客户端由此接入,且让整个集群看上去像单一数据库,前端应用可以透明使用。
部署分片集群
部署shard(副本集群)
部署两个shard分片块,数据存储的地方。
步骤一:环境准备
分片 | 节点(实例) | 端口 |
---|---|---|
1 | shard11(主) | 4006 |
1 | shard12(从) | 4007 |
2 | shard21(从) | 4008 |
2 | shard22(从) | 4009 |
每一个分片都应该安装 MongoDB 实例,需要将 bin 文件复制到每个分片中, 并且创建data 文件以及 log 文件存放数据库数据和日志数据
每个shard包含两个实例,一主一从。
步骤二:启动分片服务(实例)
启动分片集群shard1(shard11和shard12)
然后进入数据库bin目录中,启动cmd
shard11
mongod --shardsvr --replSet shard1 -port 4006 -dbpath D:\mongo\shard1\shard11\data -logpath D:\mongo\shard1\shard11\log\shard11.log
–shardsvr 为分片声明
当命令一直保持运行状态则说明服务运行成功,此服务为一次性服务,不要关闭此窗口,最小化即可。
shard12:
mongod --shardsvr --replSet shard1 -port 4007 -dbpath D:\mongo\shard1\shard12\data -logpath D:\mongo\shard1\shard12\log\shard12.log
启动分片集群2(shard21和shard22)
shard21
mongod --shardsvr --replSet shard2 -port 4008 -dbpath D:\mongo\shard2\shard21\data -logpath D:\mongo\shard2\shard21\log\shard21.log
shard22
mongod --shardsvr --replSet shard2 -port 4009 -dbpath D:\mongo\shard2\shard22\data -logpath D:\mongo\shard2\shard22\log\shard22.log
步骤三:配置分片(shard1和shard2)集群
进入到shard1集群任何一个节点中键入指令
mongo -port 4006
use admin
config={_id:"shard1",members:[
... {_id:0,host:"localhost:4006",priority:3},
... {_id:1,host:"localhost:4007",priority:2}
... ]}
rs.initiate(config)
进入到shard2集群任何一个节点中键入指令
mongo -port 4008
use admin
config={_id:"shard2",members:[
... {_id:0,host:"localhost:4008",priority:2},
... {_id:1,host:"localhost:4009",priority:1}
... ]}
rs.initiate(config)
如果两个集群都如下图所示,就说明两个集群配置好了
部署config server
步骤一:环境准备
需要注意的是:在 MongoDB 3.4 版本后 config 服务必须配置为副本集,这里设置为一主一从。
config实例 | 端口 | 数据路径 |
---|---|---|
config1(主) | 4002 | D:\mongo\config\config1\data |
config1(主) | 4003 | D:\mongo\config\config2\data |
每个文件夹添加data和log
步骤二:启动config server
进入到bin目录中,启动cmd
启动config1
mongod --configsvr --replSet confset -port 4002 -dbpath D:\mongo\config\config1\data -logpath D:\mongo\config\config1\log\conf1.log
启动config2
mongod --configsvr --replSet confset -port 4003 -dbpath D:\mongo\config\config2\data -logpath D:\mongo\config\config2\log\conf2.log
步骤三:配置config server集群
进入任何一个配置服务器的节点初始化配置服务器的群集
mongo -port 4002
use admin
config={_id:"confset",configsvr:true,members:[
... {_id:0,host:"localhost:4002"},
... {_id:1,host:"localhost:4003"}
... ]}
rs.initiate(config)
部署路由服务器 Route Process
创建专门的文件夹存放日志
进入bin目录中启动cmd
mongos --configdb confset/localhost:4002,localhost:4003 -logpath D:\mongo\mongos\log\mongos.log -port 4000
mongos : mongos 就是一个路由服务器,它会根据管理员设置的 “ 片键 ” 将数据分摊到自己管理的
mongod 集群,数据和片的对应关系以及相应的配置信息保存在 "config 服务器 " 上。
配置分片信息
bin 目录下使用 MongoDB Shell 登录到 mongos ,添加 Shard 节点
mongo -port 4000
sh.addShard("shard1/localhost:4006,localhost:4007")
sh.addShard("shard2/localhost:4008,localhost:4009")
测试分片
使用刚才打开的mongos,执行以下命令插入一万条测试数据:
sh.enableSharding("test")
sh.shardCollection("test.c1",{"id":"hashed"})
for(var i=1;i<=10000;i++){
... db.c1.insert({id:1,name:"a"+i,age:i});
... }
sh.status()
上述指令指定分片集合为c1,分片字段为“id”,分片形式是哈希分片,若改成“1”则为范围分片
如果集合已经包含数据,则必须在分片集合之前创建一个支持分片键的索引,如果集合为空,则
mongodb 将创建索引。
两个shard都有数据分布,说明分片成功!