os:windows11
分片结构:
从图中可以看出,分片集群中主要由三个部分组成,即分片服务器(Shard)、路由服务器(Mongos)以及配置服务器(Config Server)组成。其中,分片服务器有三个,即Shard1、
Shard2、Shard3;路由服务器有两个,即Mongos1和Mongos2;配置服务器有三个,即主、副、副。主要有如下所述三个主要组件:Shard:
用于存储实际的数据块,实际生产环境中一个shard server角色可由几台机器组个一个replica set承
担,防止主机单点故障Config Server:
mongod实例,存储了整个 ClusterMetadata,其中包括 chunk信息。Query Routers:
前端路由,客户端由此接入,且让整个集群看上去像单一数据库,前端应用可以透明使用。具体如下:
分片服务器:
即MongoDB实例(即mongod,用Shard表示),分片服务器是实际存储数据的组件,持有完整数据集中的一部分,每个分片服务器都可以是一个MongoDB实例,也可是一组MongoDB实例组成的集群(副本集)。从MongoDB 3.6开始,必须将分片部署为副本集,这样具有更好的容错性。
路由服务器:
即mongos,路由服务器主要提供客户端应用程序与分片集群交互的接口,所有请求都需要通过路由服务器进行协调工作。路由服务器实际上就是一个消息分发请求中心,它负责把客户端应用程序对应的数据请求转发到对应的分片服务器上。应用程序将查询、存储、更新等请求原封不动地发送给路由服务器。路由服务器询问配置服务器操作分片服务器需要获取哪些元数据,然后连接相应的分片服务器进行相关操作,最后将各个分片服务器的响应进行合并,返回给客户端应用程序。
生产环境中,一个分片集群通常会有多个路由服务器,一方面可以解决多个客户端同时请求,从而达到负载均衡的效果;另一方面可以解决当路由服务器宕机时导致整个分片集群无法使用的问题。
配置服务器:
即Config Server。在生产环境中,通常需要多个配置服务器,因为它存储了分片集群的元数据,并且这些数据是不允许丢失的。因此,需要配置多个配置服务器以防止数据丢失,尽管其中一台分片服务器宕机,我们还有其它配置服务器,从而保证MongoDB分片集群依然能够正常工作。从MongoDB 3.4版本开始,配置服务器必须部署副本集,因此我们需要配置三个配置服务器组成的副本集。
配置服务器存储着分片集群的持久化元数据,而路由服务器存储着分片集群的非持久化元数据,这些数据均为内存缓存的数 据。当路由服务器初次启动或关闭重启时,就会从配置服务器中加载分片集群的元数据。若是配置服务器的信息发生变化,则会通知所有路由服务器更新自己的状态,这样路由服务器就能继续准确的协调客户端与分片集群的交互工作。
部署分片集群:
部署shard:
部署两个shard分片块,数据存储的地方。
步骤一:环境准备:
分片都应该安装 MongoDB 实例,需要将 bin 文件复制到每个分片中, 并且创建data 文件以及 log 文件存放数据库数据和日志数据:
步骤二 启动分片服务(实例)
启动分片集群shard1(shard11和shard12)
shard11
然后进入数据库bin目录中,启动cmd
mongod -shardsvr -replSet shard1 -port 4006 -dbpath E:\shard1\shard11\data -logpath E:\shard1\shard11\log\shard11.log
--shardsvr 为分片声明
当命令一直保持运行状态则说明服务运行成功,此服务为一次性服务,不要关闭此窗口,最小化即可。
以下为shard12代码展示:
win+r,进入数据库bin目录中,启动cmd
mongod -shardsvr -replSet shard1 -port 4007 -dbpath E:\shard1\shard12\data -logpath E:\shard1\shard12\log\shard12.log
启动分片集群2(shard21和shard22)
shard21
mongod -shardsvr -replSet shard2 -port 4008 -dbpath E:\shard2\shard21\bin -logpath E:\shard2\shard21\log\shard21.log
shard22
mongod -shardsvr -replSet shard2 -port 4009 -dbpath E:\shard2\shard22\data -logpath E:\shard2\shard22\log\shard22.log
小提示:
电脑版本比较高,所以的 cmd 需要使用管理员身份运行
启动服务均为一次性服务,关闭 cmd 即为关闭服务,所以在未完成前,请勿关闭
实例均未添加至系统环境变量,请在 bin 目录下启动
虽然窗口很多,操作不太友好,但是在 win 系统下,还是多有耐心一点, linux会简单一些,不过若是细心,也是可以完成的
步骤三:配置分片(shard1和shard2)集群
进入到shard1集群任何一个节点中
use admin
switched to db admin
> config={_id:"shard1",members:[
... {_id:0,host:"localhost:4006",priority:2},
... {_id:1,host:"localhost:4007",priority:1}
... ]}
{
"_id" : "shard1",
"members" : [
{
"_id" : 0,
"host" : "localhost:4006",
"priority" : 2
},
{
"_id" : 1,
"host" : "localhost:4007",
"priority" : 1
}
]
}
> rs.initiate(config)
{ "ok" : 1 }
进入到shard2集群任何一个节点中 :
use admin
switched to db admin
> config={_id:"shard2",members:[
... {_id:0,host:"localhost:4008",priority:2},
... {_id:1,host:"localhost:4009",priority:1}
... ]}
{
"_id" : "shard2",
"members" : [
{
"_id" : 0,
"host" : "localhost:4008",
"priority" : 2
},
{
"_id" : 1,
"host" : "localhost:4009",
"priority" : 1
}
]
}
> rs.initiate(config)
{ "ok" : 1 }
做到这里两个shard的集群配置就做好了喔!
部署config server
步骤一:环境准备
值得注意的是:在 MongoDB 3。4 版本后 config 服务必须配置为 副本集,这里设置为一主一从
重复上面的步骤,每个文件夹添加data和log!
步骤二:启动config server
启动config1
进入到bin目录中,启动cmd
mongod -configsvr -replSet confset -port 4002 -dbpath E:\config\config1\data -logpath E:\config\config1\log\config1.log
启动config2
mongod -configsvr -replSet confset -port 4003 -dbpath E:\config\config2\data -logpath E:\config\config2\log\config2.log
来自彦祖的叮嘱:切记切记千万不要关闭cmd窗口,将他关闭最小化即可。否则前面做的都白做了
步骤三:配置config server集群
进入任何一个配置服务器的节点初始化配置服务器的群集
use admin
switched to db admin
> config={_id:"confset",configsvr:true,members:[
... {_id:0,host:"localhost:4002"}
... {_id:1,host:"localhost:4003"}
... ]}
uncaught exception: SyntaxError: missing ] after element list :
@(shell):3:0
> config={_id:"confset",configsvr:true,members:[
... {_id:0,host:"localhost:4002"},
... {_id:1,host:"localhost:4003"}
... ]}
{
"_id" : "confset",
"configsvr" : true,
"members" : [
{
"_id" : 0,
"host" : "localhost:4002"
},
{
"_id" : 1,
"host" : "localhost:4003"
}
]
}
> rs.initiate(config)
部署路由服务器 Route Process
可以创建专门的文件夹存放日志
在进入 数据库 bin 目录中 启动 cmd
>mongos -configdb confset/localhost:4002,localhost:4003 -logpath E:\mongs\log\mongos.log -port 4000
mongos : mongos 就是一个路由服务器,它会根据管理员设置的 “ 片键 ” 将数据分摊到自己管理的
mongod 集群,数据和片的对应关系以及相应的配置信息保存在 "config 服务器 " 上。
配置分片信息:
我们在正常情况下bin 目录下使用 MongoDB Shell 登录到 mongos ,添加 Shard 节点
mongos> sh.addShard("shard1/localhost:4006,localhost:4007")
sh.addShard("shard1/localhost:4008,localhost:4009")
测试分片
登入路由(4000) 端口
指定要分片的数据库
sh.shardCollection("test.c1",{"id":"hashed"})
指定数据库里需要分片的集合和片键,片键根据实际情况选择
sh.shardCollection("test.c1",{"id":"hashed"})
上述指令指定分片集合为c2,分片字段为“id”,分片形式是哈希分片,若改成“1”则为范围分片
如果集合已经包含数据,则必须在分片集合之前创建一个支持分片键的索引,如果集合为空,则
mongodb 将创建索引。
插入100000000条数据验证,数据必须包含分片键:id
for(var i=1;i<=10000;i++){
... db.c1.save({id:i,name:"a"+i,age:i})
... }
查看分片状态
输入sh.status() 查看分片集群状态
两个shard都有数据分布,说明分片成功!
robo 3T查看分片集
连接两个 shard 端口查看分片情况,若两个shard中的数据不同,则说明分片成功
到这一步就结束了各位,我们下期再见