MongoDB分片部署

MongoDB分片是MongoDB支持的另一种集群形式,它可以满足MongoDB数据量呈爆发式增长的需求。当MongoDB存储海量的数据时,一台机器可能无法满足数据存储的需求,也可能无法提供可接受的读写吞吐量,这时,我们就可以通过在多台机器上对海量数据进行划分(即分片),使得MongoDB数据库系统能够存储和处理更多的数据。

范围分片

MongoDB根据分片键的值范围将数据划分为不同块,每个分片都包含了分片键在一定范围内的数据。这样的话,若有文档写入时,MongoDB会根据该文档的分片键,从而交由指定分片服务器去处理。下面,通过一张图来介绍范围分片策略,具体如图所示。

哈希分片(Hash Sharding)

哈希分片类似于范围分片,两者的区别在于范围分片是MongoDB根据分片键的值直接进行范围划分,而哈希分片则先将分片键的值进行哈希计算后,然后对这些哈希值进行范围划分,从而使得每个分片都包含了哈希值在一定范围内的数据;范围分片可以支持复合分片键,而哈希分片只支持单个字段作为分片键。哈希值的随机性,使得数据随机分布在分片集群中不同分片服务器上。下面,通过一张图介绍哈希分片策略,如图所示。

一、分片集群架构

从图中可以看出,分片集群中主要由三个部分组成,即分片服务器( Shard )、路由服务器
( Mongos )以及配置服务器( Config Server )组成。其中,分片服务器有三个,即 Shard1 、
Shard2 、 Shard3 ;路由服务器有两个,即 Mongos1 和 Mongos2 ;配置服务器有三个,即主、副、副。
主要有如下所述三个主要组件:
Shard: 用于存储实际的数据块,实际生产环境中一个shard server 角色可由几台机器组个一个 replica set(副本集群) 承担,防止主机单点故障【3.6版本后必须配置成副本集群】
Config Server: mongod实例,存储了整个 ClusterMetadata ,其中包括 chunk 信息【3.4版本后必须部署成副本集群】。
Query Routers: 前端路由,客户端由此接入,且让整个集群看上去像单一数据库,前端应用可以透明使用。

分片服务器

即MongoDB实例(即mongod,用Shard表示),分片服务器是实际存储数据的组件,持有完整数据集中的一部分,每个分片服务器都可以是一个MongoDB实例,也可是一组MongoDB实例组成的集群(副本集)。从MongoDB3.6开始,必须将分片部署为副本集,这样具有更好的容错性。

路由服务器
即mongos,路由服务器主要提供客户端应用程序与分片集群交互的接口,所有请求都需要通过路由服务器进行协调工作。路由服务器实际上就是一个消息分发请求中心,它负责把客户端应用程序对应的数据请求转发到对应的分片服务器上。应用程序将查询、存储、更新等请求原封不动地发送给路由服务器。路由服务器询问配置服务器操作分片服务器需要获取哪些元数据,然后连接相应的分片服务器进行相关操作,最后将各个分片服务器的响应进行合并,返回给客户端应用程序。
生产环境中,一个分片集群通常会有多个路由服务器,一方面可以解决多个客户端同时请求,从而达到负载均衡的效果;另一方面可以解决当路由服务器宕机时导致整个分片集群无法使用的问题。

二、部署分片集群

部署两个shard分片

步骤一:环境准备

每一个分片都应该安装MongoDB实例,和前面的主从复制类似,亦需要将bin文件复制到每个分片中,并且创建db文件以及log文件存放数据库和日志数据

三、启动分片服务器

首先关闭之前打开的数据库服务

步骤二:(实例)启动分片服务器1

然后进入要分片的数据库bin目录中,启动cmd

--shardsvr为分片声明

不要关闭此窗口,最小化即可

再次进入要分片的数据库bin目录中,再启动cmd

启动分片服务2

进入要分片的数据库中bin目录中,再再次启动cmd

进入要分片的数据库bin目录中,再再再次启动cmd

进入分片一初始化分片集

进入分片二初始化分片集

步骤三:配置启动 Config Server

值得注意的是:在MongoDB 3版本后config服务必须配置为从副本集,所以直接用前面设置好了的副本启动即可

老样子,每个文件添加data和log

三个实例共三个cmd窗口

启动Config1:

进入要分片的数据库bin目录中

--configsvr 这里我们完全可以像启动普通mongodb服务一样启动,不需要添加一shardsvr和configsvr参数。因为这两个参数的作用就是改变启动端口的,所以我们自行指定了端口就可以.

三个实例共三个cmd窗口【一次性启动服务,不要关闭cmd窗口,最小化即可】

启动Config2:

启动Config3:

进入任何一个配置服务器的节点初始化配置服务器的集群

重新打开一个cmd,再bin目录下

配置设置

配置路由服务器 Route Process

可以创建专门的文件夹存放日志

在进入要分片的数据库bin目录中启动cmd

mongos:mongos就是一个路由服务器,它会根据管理员设置的“片键”将数据分摊到自己管理的 mongod集群,数据和片的对应关系以及相应的配置信息保存在"config服务器"上。

配置分片sharding,添加分片索引

bin目录下使用MongoDB Shell登录到mongos,添加Shard节点

查看分片集

mongodb分片测试

登入4000端口

指定要分片的数据库

指定数据库里需要分片的集合和片键,片键根据实际情况选择

如果集合已经包含数据,则必须在分片集合之前创建一个支持分片键的索引,如果集合为空,则 mongodb将创建索引。

向test库里的c2集合插入10000条数据

这里可能是数据量太少了,出来的结果并不是我想像的那样,根据官方说明,单调变化的键上进行分片,考虑使用哈希分片。

robo 3T查看分片集

robo 3T链接4000端口进行查看

最后

重新打开mongodb服务,即可像原来一样使用,但是数据存储方式和原来已经不一样了,变成了分布式的分片存储。
tips:
电脑版本比较高,所以的cmd需要使用管理员身份运行
启动服务均为一次性服务,关闭cmd即为关闭服务,所以在未完成前,请勿关闭
实例均未添加至系统环境变量,请在bin目录下启动

  • 48
    点赞
  • 31
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值