MongoDB分片集群搭建

最新推荐文章于 2021-03-21 18:35:36 发布
最新推荐文章于 2021-03-21 18:35:36 发布
阅读量384 收藏
点赞数
分类专栏： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xueyunzi1/article/details/106047213
版权

MongoDB分片集群包含以下组件：

 1、分片（存储）：每个分片包含分片数据的子集。每个分片都可以部署为副本集

2、mongos（路由）：mongos充当查询路由器，在客户端应用程序和分片集群之间提供接口。

3、config servers（“调度”的配置）：配置服务器存储群集的元数据和配置设置。从mongoDB3.4开始必须将配置服务器部署为副本集（CSRS）

下图描述了分片集群中组件的交互：

按照以下结构搭建分片集群 （192.168.1.118主机上，端口号不同）：

1个 路由服务（2个mongs服务）+1个配置服务（3个mongod服务）+2个分片服务（共6个mongod服务）

 

一、搭建分片1服务

1、创建配置文件

shard01_27016.yaml

systemLog:
   #MongoDB发送所有日志输出的目标指定为文件
   destination: file
   #指定日志文件路径
   path: "/usr/local/mongodb4/datasource/log/myshardrs01_27016.log"
   logAppend: true


storage:
   #存储数据库的数据目录   
   dbPath: "/usr/local/mongodb4/datasource/data/db/myshardrs01_27016"
   #启用或禁用持久性日志以确保数据文件保持有效和恢复
   journal:
      enabled: true


processManagement:
   #支持后台启动
   fork: true
   #记录进程id
   pidFilePath: "/usr/local/mongodb4/datasource/pid/myshardrs01_27016.pid"

net:
   #设置绑定ip地址
   bindIp: 192.168.1.118
   #绑定端口号
   port: 27016

setParameter:
   #认证设置
   enableLocalhostAuthBypass: false

#副本集名称
replication:
   replSetName: "myshardrs01"

sharding:
 #指定分片角色
 clusterRole: shardsvr

shard01_27017.yaml

systemLog:
   #MongoDB发送所有日志输出的目标指定为文件
   destination: file
   #指定日志文件路径
   path: "/usr/local/mongodb4/datasource/log/myshardrs01_27017.log"
   logAppend: true


storage:
   #存储数据库的数据目录   
   dbPath: "/usr/local/mongodb4/datasource/data/db/myshardrs01_27017"
   #启用或禁用持久性日志以确保数据文件保持有效和恢复
   journal:
      enabled: true


processManagement:
   #支持后台启动
   fork: true
   #记录进程id
   pidFilePath: "/usr/local/mongodb4/datasource/pid/myshardrs01_27017.pid"

net:
   #设置绑定ip地址
   bindIp: 192.168.1.118
   #绑定端口号
   port: 27017

setParameter:
   #认证设置
   enableLocalhostAuthBypass: false

#副本集名称
replication:
   replSetName: "myshardrs01"

sharding:
 #分片角色
 clusterRole: shardsvr

shard01_27018.yaml

systemLog:
   #MongoDB发送所有日志输出的目标指定为文件
   destination: file
   #指定日志文件路径
   path: "/usr/local/mongodb4/datasource/log/myshardrs01_27018.log"
   logAppend: true


storage:
   #存储数据库的数据目录   
   dbPath: "/usr/local/mongodb4/datasource/data/db/myshardrs01_27018"
   #启用或禁用持久性日志以确保数据文件保持有效和恢复
   journal:
      enabled: true


processManagement:
   #支持后台启动
   fork: true
   #记录进程id
   pidFilePath: "/usr/local/mongodb4/datasource/pid/myshardrs01_27018.pid"

net:
   #设置绑定ip地址
   bindIp: 192.168.1.118
   #绑定端口号
   port: 27018

setParameter:
   #认证设置
   enableLocalhostAuthBypass: false

#副本集名称
replication:
   replSetName: "myshardrs01"

sharding:
 #分片角色
 clusterRole: shardsvr

2、启动mongod服务

新建日志和数据库文件夹

mkdir -p /usr/local/mongodb4/datasource/pid

mkdir -p /usr/local/mongodb4/datasource/log
mkdir -p /usr/local/mongodb4/datasource/data/db/myshardrs01_27016

mkdir -p /usr/local/mongodb4/datasource/data/db/myshardrs01_27017

mkdir -p /usr/local/mongodb4/datasource/data/db/myshardrs01_27018

启动服务

mongod -f  shard01_27016.yaml

mongod -f  shard01_27017.yaml

mongod -f  shard01_27018.yaml

3、选择主节点进入：

mongo 192.168.1.118:27016

4、初始化副本集

rs.initiate()

5、添加备节点

rs.add("192.168.1.118:27017")

6、添加仲裁节点

rs.add("192.168.1.118:27018",true) 或者rs.addArb("192.168.1.118:27018")
7、查看服务状态

rs.config()

二、搭建分片2服务

shard01_27116.yaml

systemLog:
   #MongoDB发送所有日志输出的目标指定为文件
   destination: file
   #指定日志文件路径
   path: "/usr/local/mongodb4/datasource/log/myshardrs02_27116.log"
   logAppend: true


storage:
   #存储数据库的数据目录   
   dbPath: "/usr/local/mongodb4/datasource/data/db/myshardrs02_27116"
   #启用或禁用持久性日志以确保数据文件保持有效和恢复
   journal:
      enabled: true


processManagement:
   #支持后台启动
   fork: true
   #记录进程id
   pidFilePath: "/usr/local/mongodb4/datasource/pid/myshardrs02_27116.pid"

net:
   #设置绑定ip地址
   bindIp: 192.168.1.118
   #绑定端口号
   port: 27116

setParameter:
   #认证设置
   enableLocalhostAuthBypass: false

#副本集名称
replication:
   replSetName: "myshardrs02"

sharding:
 #分片角色
 clusterRole: shardsvr

shard01_27117.yaml

systemLog:
   #MongoDB发送所有日志输出的目标指定为文件
   destination: file
   #指定日志文件路径
   path: "/usr/local/mongodb4/datasource/log/myshardrs02_27117.log"
   logAppend: true


storage:
   #存储数据库的数据目录   
   dbPath: "/usr/local/mongodb4/datasource/data/db/myshardrs02_27117"
   #启用或禁用持久性日志以确保数据文件保持有效和恢复
   journal:
      enabled: true


processManagement:
   #支持后台启动
   fork: true
   #记录进程id
   pidFilePath: "/usr/local/mongodb4/datasource/pid/myshardrs02_27117.pid"

net:
   #设置绑定ip地址
   bindIp: 192.168.1.118
   #绑定端口号
   port: 27117

setParameter:
   #认证设置
   enableLocalhostAuthBypass: false

#副本集名称
replication:
   replSetName: "myshardrs02"

sharding:
 #分片角色
 clusterRole: shardsvr

shard01_27118.yaml

systemLog:
   #MongoDB发送所有日志输出的目标指定为文件
   destination: file
   #指定日志文件路径
   path: "/usr/local/mongodb4/datasource/log/myshardrs02_27118.log"
   logAppend: true


storage:
   #存储数据库的数据目录   
   dbPath: "/usr/local/mongodb4/datasource/data/db/myshardrs02_27118"
   #启用或禁用持久性日志以确保数据文件保持有效和恢复
   journal:
      enabled: true


processManagement:
   #支持后台启动
   fork: true
   #记录进程id
   pidFilePath: "/usr/local/mongodb4/datasource/pid/myshardrs02_27118.pid"

net:
   #设置绑定ip地址
   bindIp: 192.168.1.118
   #绑定端口号
   port: 27118

setParameter:
   #认证设置
   enableLocalhostAuthBypass: false

#副本集名称
replication:
   replSetName: "myshardrs02"

sharding:
 #分片角色
 clusterRole: shardsvr

2、启动mongod服务

新建日志和数据库文件夹

mkdir -p /usr/local/mongodb4/datasource/pid

mkdir -p /usr/local/mongodb4/datasource/log
mkdir -p /usr/local/mongodb4/datasource/data/db/myshardrs02_27016

mkdir -p /usr/local/mongodb4/datasource/data/db/myshardrs02_27017

mkdir -p /usr/local/mongodb4/datasource/data/db/myshardrs02_27018

启动服务

mongod -f  shard02_27116.yaml

mongod -f  shard02_27117.yaml

mongod -f  shard02_27118.yaml

3、选择主节点进入：

mongo 192.168.1.118:27116

4、初始化副本集

rs.initiate()

5、添加备节点

rs.add("192.168.1.118:27117")

6、添加仲裁节点

rs.add("192.168.1.118:27118",true) 或者rs.addArb("192.168.1.118:27118")
7、查看服务状态

rs.config()

三、搭建配置服务

configserver27216.yaml

systemLog:
   #MongoDB发送所有日志输出的目标指定为文件
   destination: file
   #指定日志文件路径
   path: "/usr/local/mongodb4/datasource/log/myconfigrs_27216.log"
   logAppend: true


storage:
   #存储数据库的数据目录   
   dbPath: "/usr/local/mongodb4/datasource/data/db/myconfigrs_27216"
   #启用或禁用持久性日志以确保数据文件保持有效和恢复
   journal:
      enabled: true


processManagement:
   #支持后台启动
   fork: true
   #记录进程id
   pidFilePath: "/usr/local/mongodb4/datasource/pid/myconfigrs_27216.pid"

net:
   #设置绑定ip地址
   bindIp: 192.168.1.118
   #绑定端口号
   port: 27216

setParameter:
   #认证设置
   enableLocalhostAuthBypass: false

#副本集名称
replication:
   replSetName: "myconfigrs"

sharding:
 #分片角色
 clusterRole: configsvr

 configserver27217.yaml  

systemLog:
   #MongoDB发送所有日志输出的目标指定为文件
   destination: file
   #指定日志文件路径
   path: "/usr/local/mongodb4/datasource/log/myconfigrs_27217.log"
   logAppend: true


storage:
   #存储数据库的数据目录   
   dbPath: "/usr/local/mongodb4/datasource/data/db/myconfigrs_27217"
   #启用或禁用持久性日志以确保数据文件保持有效和恢复
   journal:
      enabled: true


processManagement:
   #支持后台启动
   fork: true
   #记录进程id
   pidFilePath: "/usr/local/mongodb4/datasource/pid/myconfigrs_27217.pid"

net:
   #设置绑定ip地址
   bindIp: 192.168.1.118
   #绑定端口号
   port: 27217

setParameter:
   #认证设置
   enableLocalhostAuthBypass: false

#副本集名称
replication:
   replSetName: "myconfigrs"

sharding:
 #分片角色
 clusterRole: configsvr

configserver27218.yaml

systemLog:
   #MongoDB发送所有日志输出的目标指定为文件
   destination: file
   #指定日志文件路径
   path: "/usr/local/mongodb4/datasource/log/myconfigrs_27218.log"
   logAppend: true


storage:
   #存储数据库的数据目录   
   dbPath: "/usr/local/mongodb4/datasource/data/db/myconfigrs_27218"
   #启用或禁用持久性日志以确保数据文件保持有效和恢复
   journal:
      enabled: true


processManagement:
   #支持后台启动
   fork: true
   #记录进程id
   pidFilePath: "/usr/local/mongodb4/datasource/pid/myconfigrs_27218.pid"

net:
   #设置绑定ip地址
   bindIp: 192.168.1.118
   #绑定端口号
   port: 27218

setParameter:
   #认证设置
   enableLocalhostAuthBypass: false

#副本集名称
replication:
   replSetName: "myconfigrs"

sharding:
 #分片角色
 clusterRole: configsvr

2、启动mongod服务

新建日志和数据库文件夹

mkdir -p /usr/local/mongodb4/datasource/pid

mkdir -p /usr/local/mongodb4/datasource/log


mkdir -p /usr/local/mongodb4/datasource/data/db/myconfigrs_27216

mkdir -p /usr/local/mongodb4/datasource/data/db/myconfigrs_27217

mkdir -p /usr/local/mongodb4/datasource/data/db/myconfigrs_27218

启动服务

mongod -f  configserver27216.yaml

mongod -f  configserver27217.yaml

mongod -f  configserver27218.yaml

3、选择主节点进入：

mongo 192.168.1.118:27216

4、初始化副本集

rs.initiate()

5、添加备节点

rs.add("192.168.1.118:27217")

rs.add("192.168.1.118:27218")
6、查看服务状态

rs.config()

四、搭建路由服务

 router27316.yaml

systemLog:
   #MongoDB发送所有日志输出的目标指定为文件
   destination: file
   #指定日志文件路径
   path: "/usr/local/mongodb4/datasource/log/router_27316.log"
   logAppend: true


processManagement:
   #支持后台启动
   fork: true
   #记录进程id
   pidFilePath: "/usr/local/mongodb4/datasource/pid/router_27316.pid"

net:
   #设置绑定ip地址
   bindIp: 192.168.1.118
   #绑定端口号
   port: 27316

setParameter:
   #认证设置
   enableLocalhostAuthBypass: false

sharding:
 #设置配置服务的副本集名称和ip端口
 configDB: myconfigrs/192.168.1.118:27216,192.168.1.118:27217,192.168.1.118:27218

 router27317.yaml

systemLog:
   #MongoDB发送所有日志输出的目标指定为文件
   destination: file
   #指定日志文件路径
   path: "/usr/local/mongodb4/datasource/log/router_27317.log"
   logAppend: true


processManagement:
   #支持后台启动
   fork: true
   #记录进程id
   pidFilePath: "/usr/local/mongodb4/datasource/pid/router_27317.pid"

net:
   #设置绑定ip地址
   bindIp: 192.168.1.118
   #绑定端口号
   port: 27317

setParameter:
   #认证设置
   enableLocalhostAuthBypass: false

sharding:
 #指定配置集群的副本集名称和IP地址端口
 configDB: myconfigrs/192.168.1.118:27216,192.168.1.118:27217,192.168.1.118:27218

 

2、启动mongos服务

创建日志保持路径

mkdir -p /usr/local/mongodb4/datasource/pid

mkdir -p /usr/local/mongodb4/datasource/log

启动服务

mongos -f   router27316.yaml

mongos -f   router27317.yaml

3、进入client端

mongo 192.168.1.118:27316

4、添加分片

sh.addShard("myshardrs01/192.168.1.118:27016,192.168.1.118:27017,192.168.1.118:27018")

sh.addShard("myshardrs02/192.168.1.118:27116,192.168.1.118:27117,192.168.1.118:27118")

注意：如果添加分片失败，需要手动移除分片，检查添加分片的信息正确性后，再次添加分片。

移除分片：

use admin

db.runCommand({removeShard:"myshards02"})

如果只剩下最后一个shard，是无法删除的，移除时会自动转移分片数据，需要一个时间过程。完成后，再次执行删除分片命令才能真正删除。

5、查看状态

sh.status()

6、此时分片还是不可以使用的，必须开启分片功能才可以。sh.enableSharding("库名")、sh.shardCollection("库名.集合名",策略)。

分片规则有两个，一个是哈希策略（hashed）另一个是范围策略（{"关键字",1}）

 

 

 

 

 

钟情筹码
关注
专栏目录
mongoDB 分片集群搭建
xiaoenxiaoen的专栏
06-24 231
1.搭建环境 OS：centos7 mem：8G 2.软件版本 mongodb-linux-x86_64-3.2.22 端口规划 ip port mongos 127.0.0.1 28017 config 镜像 127.0.0.1 28018 镜像 127.0.0.1 28019 镜像 127.0.0.1 28020 shard1 p 127.0.0.1 28021 ...
搭建MongoDB分片集群
misakivv的博客
05-03 2380
分片（sharding）是一种跨多台机器分布数据的方法，MongoDB使用分片来支持具有非常大的数据集和高吞吐量操作的部署。 分片是将数据拆分，散到不同的机器上，不需要功能强大的大型计算机就可以储存更多的数据，处理更多的负载。有时也叫分区 (partitioning)。
MongoDB-分片集群搭建
Cao_Mary的博客
03-21 2167
MongoDB-分片集群搭建1.分片集群搭建整体思路1.1 搭建配置服务器复制集1.2 搭建分片服务器复制集1.3 搭建路由服务器2.搭建配置服务器集群2.0 创建配置文件目录结构2.1 编写配置文件2.2 注册MongoDB服务2.3 开启任务【服务】2.4 测试服务可用性2.5 添加复制集[初始化]3.搭建分片服务器集群3.0 创建文件目录结构3.1编写配置文件3.2注册MongoDB服务3.3 在任务管理器中开启任务3.4 测试服务可用性3.5 添加复制集4.搭建路由服务器4.0 创建文件目录结构4.
Mongo分片集群搭建
UnionIBM的博客
09-24 566
当MongoDB存储海量的数据时，一台机器可能不足以存储数据，也可能不足以提供可接受的读写吞吐量。这时，我们就可以通过在多台机器上分割数据，使得数据库系统能存储和处理更多的数据 为什么使用分片 复制所有的写入操作到主节点 延迟的敏感数据会在主节点查询 单个副本集限制在12个节点 当请求量巨大时会出现内存不足。 本地磁盘不足 垂直扩展价格昂贵
MongoDB分片集群搭建教程：副本集创建与数据分片
最新发布
11-12
内容概要：本文提供了详细的MongoDB分片集群的搭建指导，涵盖了从环境准备、配置文件编写、副本集的建立、主节点的选择、配置服务器和数据分片服务器的配置到最后的路由节点的搭建与操作整个流程，以及对数据库的...
MongoDB4.2分片及副本集群搭建
04-21
MongoDB4.2分片及副本集群搭建 MongoDB集群 MongoDB分片 MongoDB副本 MongoDB副本集群
mongodb 分片集群搭建过程（无副本）
04-18
mongodb 分片集群搭建过程（无副本），详细操作步骤，linux命令
mongodb分片集群搭建
pittpakk的博客
02-27 8163
内容转载，原文连接：https://yq.aliyun.com/articles/422597?spm=a2c4e.11155472.0.0.ad0d55d8PCpSNN mongodb下载连接：https://bbcbackup.oss-cn-shenzhen.aliyuncs.com/run/linux/mongodb-linux-x86_64-rhel70-3.4.2.tgz 先是文...
MongoDB分片搭建
long12310225的专栏
08-28 477
一、环境 $ cat /etc/redhat-release  CentOS Linux release 7.0.1406 (Core)  $ uname -a Linux zhaopin-2-201 3.10.0-123.el7.x86_64 #1 SMP Mon Jun 30 12:09:22 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux $ mongo -
MongoDB 分片环境搭建
攀登Fox的博客
07-19 559
目录一、介绍1.1、分片概念1.2、Shard1.3、Config Server1.4、Routers1.5、shard key1.5.1、Range 分区1.5.2、Hash 分区二、环境搭建2.1、环境准备2.2、搭建Shard2.2.1、配置2.2.2、启动2.2.3、复制集设置2.3、搭建Config Server2.3.1、配置2.3.2、启动2.3.3、复制集设置2.4、搭建Router2.4.1、配置2.4.2、启动2.5、加入分片2.6、开启 Shard 一、介绍 1.1、分片概念 1）分片
MongoDB的分片集群搭建
weixin_45234710的博客
08-02 324
MongoDB的分片集群搭建 环境准备 下载：mongodb-macos-x86_64-4.2.8.tgz 解压、改名：shard_cluster tar -zxvf mongodb-macos-x86_64-4.2.8.tgz mv mongodb-macos-x86_64-4.2.8 shard_cluster 建立config节点文件夹 mkdir -p config/{config1,config2,config3,logs} 建立shard节点文件夹 mkdir -p sh
MongoDB 分片集群搭建
Sail__的专栏
07-09 705
目录 说明 配置说明 gitee 3台机器 端口 安装 下载 解压文件 创建文件夹 目录结构 #按顺序启动 shard集群配置 #配置复制集 shard1,注意ip和端口 #初始化副本集配置 #配置复制集 shard2 #配置复制集 shard3 config集群配置 #启动各个节点： #创建config集群 mongos节点配置 #启动mongos ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值