MongoDB分片部署(windows)

MongoDB分片集群是一种用于支持大数据集和高吞吐量操作的部署架构。以下是对MongoDB分片集群的简介,按照清晰的结构进行分点表示和归纳:

1. 分片集群的定义
分片(Sharding):是一种将数据分散存储在多个机器上的方法,用于解决单个服务器在容量和性能上的限制。
2. 分片集群的组成
Shard:
每个Shard包含分片数据的子集。
可以部署为副本集,以提高数据可用性和容错性。
mongos(查询路由器):
无状态应用,负责接收客户端的请求并将其路由到正确的Shard上。
负责读写合并多个数据节点的返回。
本身不存储数据,也不维护任何与客户数据相关的状态信息。
建议部署2个及以上节点。
Config Servers(配置服务器):
负责存储和管理分片集群的元数据信息,如分片键范围、分片集群配置等。
官方建议最少部署3个Config Servers。
3. 分片集群的优势
水平扩展:通过添加更多的Shard节点,可以轻松地扩展集群的存储和计算能力。
高性能:通过并行处理来自不同Shard的请求,可以提高整个集群的吞吐量。
高可用性:通过部署副本集和多个mongos节点,可以确保在部分节点故障时,集群仍然能够正常提供服务。
4. 分片键的选择
分片键是用于将数据分布到不同Shard的键。
选择分片键时需要考虑数据的访问模式、数据的大小和增长趋势等因素。
5. 分片策略
哈希分片:根据分片键的哈希值将数据分布到不同的Shard上。
范围分片:根据分片键的范围将数据分布到不同的Shard上。
分区分片:结合哈希分片和范围分片的策略,将数据先按照某个范围进行分区,然后在每个分区内部使用哈希分片。
6. 分片前的注意事项
在进行分片之前,需要仔细评估业务的需求和系统的现状,确保分片是解决问题的最佳方案。
需要对分片键的选择、分片策略的制定等进行充分的讨论和测试。
通过MongoDB分片集群,可以轻松地实现大数据集和高吞吐量应用的部署和管理,为业务的发展提供有力的支持。

接下来进行具体操作

OS:win10
MongoDB:4.4.24
伪分布式

在这里插入图片描述
从图中可以看出,分片集群中主要由三个部分组成,即分片服务器( Shard )、路由服务器
( Mongos )以及配置服务器( Config Server )组成。其中,分片服务器有三个,即 Shard1 、
Shard2 、 Shard3 ;路由服务器有两个,即 Mongos1 和 Mongos2 ;配置服务器有三个,即主、副、副。
主要有如下所述三个主要组件:
Shard: 用于存储实际的数据块,实际生产环境中一个shard server 角色可由几台机器组个一个 replica set(副本集群) 承担,防止主机单点故障【3.6版本后必须配置成副本集群】
Config Server: mongod实例,存储了整个 ClusterMetadata ,其中包括 chunk 信息【3.4版本后必须部署成副本集群】。
Query Routers: 前端路由,客户端由此接入,且让整个集群看上去像单一数据库,前端应用可以透明使用。

分片服务器

即MongoDB实例(即mongod,用Shard表示),分片服务器是实际存储数据的组件,持有完整数据集,中的一部分,每个分片服务器都可以是一个MongoDB实例,也可是一组MongoDB实例组成的集群(副,本集)。从MongoDB3.6开始,必须将分片部署为副本集,这样具有更好的容错性。,

路由服务器

即mongos,路由服务器主要提供客户端应用程序与分片集群交互的接口,所有请求都需要通过路由服,务器进行协调工作。路由服务器实际上就是一个消息分发请求中心,它负责把客户端应用程序对应的数,据请求转发到对应的分片服务器上。应用程序将查询、存储、更新等请求原封不动地发送给路由服务,器。

路由服务器询问配置服务器操作分片服务器需要获取哪些元数据,然后连接相应的分片服务器进行,相关操作,最后将各个分片服务器的响应进行合并,返回给客户端应用程序。,生产环境中,一个分片集群通常会有多个路由服务器,一方面可以解决多个客户端同时请求,从而达到负载均衡的效果;另一方面可以解决当路由服务器岩机时导致整个分片集群无法使用的问题

配置服务器

即ConfigServer。在生产环境中,通常需要多个配置服务器,因为它存储了分片集群的元数据,并且这些数据是不允许丢失的。因此,需要配置多个配置服务器以防止数据丢失,尽管其中一台分片服务器宕机,我们还有其它配置服务器,从而保证MongoDB分片集群依然能够正常工作。

从MongoDB 3.4版本开始,配置服务器必须部署副本集,因此我们需要配置三个配置服务器组成的副本集。配置服务器存储着分片集群的持久化元数据,而路由服务器存储着分片集群的非持久化元数据,这些数据均为内存缓存的数据。当路由服务器初次启动或关闭重启时,就会从配置服务器中加载分片集群的元数据。若是配置服务器的信息发生变化,则会通知所有路由服务器更新自己的状态,这样路由服务器就能继续准确的协调客户端与分片集群的交互工作。

部署分片集群

部署shard【副本集群】
关于MongoDB副本集群部署更多信息,请查看:https://blog.csdn.net/qq_45562383/article/details/139270433?spm=1001.2014.3001.5502
部署两个shard分片块,数据存储的地方。

步骤一:环境准备

分片节点(实例)端口路径
1shard11(主)4006dbpath:D:\shard1\shard11\data logpath:D:\shard1\shard11\log
1shard12(从)4007dbpath:D:\shard1\shard12\data logpath:D:\shard1\shard12\log
2shard21(主)4008dbpath:D:\shard2\shard21\data logpath:D:\shard2\shard21\log
2shard22(从)4009dbpath:D:\shard2\shard22\data logpath:D:\shard2\shard22\log

每一个分片都应该安装 MongoDB 实例,需要将 bin 文件复制到每个分片中, 并且创建data 文件以及 log 文件存放数据库数据和日志数据
在这里插入图片描述

每个shard包含两个实例,一主一从。
在这里插入图片描述
在这里插入图片描述

步骤二 启动分片服务(实例)

启动分片集群shard1(shard11和shard12)
shard11

然后进入数据库bin目录中,启动cmd

\bin>mongod --shardsvr --replSet shard1 -port 4006 -dbpath D:\shard1\shard11\data -logpath D:\shard1\shard11\log\shard11.log

–shardsvr 为分片声明
当命令一直保持运行状态则说明服务运行成功,此服务为一次性服务,不要关闭此窗口,最小化即可。
在这里插入图片描述
再次进入数据库bin目录中,启动cmd
shard12:

bin>mongod --shardsvr --replSet shard1 -port 4007 -dbpath D:\shard1\shard12\data -logpath D:\shard1\shard12\log\shard12.log

在这里插入图片描述
启动分片集群2(shard21和shard22)

shard21

\bin>mongod --shardsvr --replSet shard2 -port 4008 -dbpath D:\shard2\shard21\data -logpath D:\shard2\shard21\log\shard21.log

在这里插入图片描述
shard22

\bin>mongod --shardsvr --replSet shard2 -port 4009 -dbpath D:\shard2\shard22\data -logpath D:\shard2\shard22\log\shard22.log

在这里插入图片描述
小提示

电脑版本比较高,所以的 cmd 需要使用管理员身份运行
启动服务均为一次性服务,关闭 cmd 即为关闭服务,所以在未完成前,请勿关闭
实例均未添加至系统环境变量,请在 bin 目录下启动
虽然窗口很多,操作不太友好,但是在 win 系统下,还是多有耐心一点, linux会简单一些

步骤三:配置分片(shard1和shard2)集群
进入到shard1集群任何一个节点中

use admin
 
config={_id:"shard1",members:[
... {_id:0,host:"localhost:4006",priority:2},
... {_id:1,host:"localhost:4007",priority:1}
... ]}
 
 
 rs.initiate(config)

进入到shard2集群任何一个节点中

use admin
 
config={_id:"shard2",members:[
... {_id:0,host:"localhost:4008",priority:2},
... {_id:1,host:"localhost:4009",priority:1}
... ]}
 
 
 rs.initiate(config)

在这里插入图片描述
至此,shard的两个集群配置好了。

部署config server

步骤一:环境准备

值得注意的是:在 MongoDB 3。4 版本后 config 服务必须配置为 副本集,这里设置为一主一从。

config实例端口数据路径日志路径
config1(主)4002D:\config\config1\dataD:\config\config1\log
config2(从)4003D:\config\config2\dataD:\config\config2\log

老样子,每个文件夹添加data和log
在这里插入图片描述

步骤二:启动config server

启动config1

进入到bin目录中,启动cmd

\bin>mongod --configsvr --replSet confset -port 4002 -dbpath D:\config\config1\data -logpath D:\config\config1\log\conf1.log

–configsvr 这里我们完全可以像启动普通 mongodb 服务一样启动,不需要添加 —shardsvr 和 configsvr 参数。因为这两个参数的作用就是改变启动端口的,所以我们自行指定了端口就可以。
在这里插入图片描述
启动config2

\bin>mongod --configsvr --replSet confset -port 4003 -dbpath D:\config\config2\data -logpath D:\config\config2\log\conf2.log

在这里插入图片描述
**不要关闭 cmd 窗口,最小化即可 **

步骤三:配置config server集群

进入任何一个配置服务器的节点初始化配置服务器的群集
在这里插入图片描述

 use admin
 
 
 config={_id:"confset",configsvr:true,members:[
... {_id:0,host:"localhost:4002"},
... {_id:1,host:"localhost:4003"}
... ]}
 
 
 rs.initiate(config)

在这里插入图片描述
部署路由服务器 Route Process
可以创建专门的文件夹存放日志
在这里插入图片描述
在进入 数据库 bin 目录中 启动 cmd

 
D:\MongoDB\bin>mongos --configdb confset/localhost:4002,localhost:4003 -logpath D:\mongos\log\mongos.log -port 4000

mongos : mongos 就是一个路由服务器,它会根据管理员设置的 “ 片键 ” 将数据分摊到自己管理的
mongod 集群,数据和片的对应关系以及相应的配置信息保存在 "config 服务器 " 上。
在这里插入图片描述

配置分片信息

bin 目录下使用 MongoDB Shell 登录到 mongos ,添加 Shard 节点
在这里插入图片描述

mongos> sh.addShard("shard1/localhost:4006,localhost:4007")

在这里插入图片描述

mongos> sh.addShard("shard2/localhost:4008,localhost:4009")

在这里插入图片描述
查看数据库是否存在数据
在这里插入图片描述

测试分片

登入路由(4000) 端口
指定要分片的数据库

mongos> sh.enableSharding("test")

指定数据库里需要分片的集合和片键,片键根据实际情况选择

mongos> sh.shardCollection("test.c2",{"id":"hashed"})

上述指令指定分片集合为c2,分片字段为“id”,分片形式是哈希分片,若改成“1”则为范围分片

如果集合已经包含数据,则必须在分片集合之前创建一个支持分片键的索引,如果集合为空,则
mongodb 将创建索引。
在这里插入图片描述
插入9999条数据验证,数据必须包含分片键:id

mongos> for(var i=1;i<=9999;i++){
... db.c2.save({id:i,name:"coke"+i});}

在这里插入图片描述

查看分片状态

输入sh.status() 查看分片集群状态
在这里插入图片描述
两个shard都有数据分布,说明分片成功!

robo 3T查看分片集

连接两个 shard 端口查看分片情况,若两个shard中的数据不同,则说明分片成功!!
在这里插入图片描述

  • 39
    点赞
  • 44
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值