MongoDB分片式安装部署 OpenEuler/Centos

最新推荐文章于 2024-06-23 00:09:49 发布
最新推荐文章于 2024-06-23 00:09:49 发布
阅读量363 收藏
点赞数
文章标签： linux mongodb nosql centos 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huangsxint/article/details/116271674
版权

MongoDB分片式安装部署

参考文献

https://blog.csdn.net/Powerful_Fy/article/details/103615902
https://www.runoob.com/mongodb/mongodb-sharding.html

MongoDB分片介绍

分片就是将数据库进行拆分，将大型集合分隔到不同服务器上。比如，本来100G的数据，可以分割成10份存储到10台服务器上，这样每台机器只有10G的数据，通过一个mongos的进程（路由）实现分片后的数据存储与访问，也就是说mongos是整个分片架构的核心，对客户端而言是不知道是否有分片的，客户端只需要把读写操作转达给mongos即可。虽然分片会把数据分隔到很多台服务器上，但是每一个节点都是需要有一个备用角色（副本集），这样能保证数据的高可用。当系统需要更多空间或者资源的时候，分片可以让我们按需方便扩展，只需要把mongodb服务的机器加入到分片集群中即可

在这里插入图片描述

上图中主要有如下所述三个主要组件：

Shard:

用于存储实际的数据块，实际生产环境中一个shard server角色可由几台机器组个一个replica set承担，防止主机单点故障
Config Server:

mongod实例，存储了整个 ClusterMetadata，其中包括 chunk信息。
Query Routers:

前端路由，客户端由此接入，且让整个集群看上去像单一数据库，前端应用可以透明使用。

MongoDB集群 分片搭建实例

Server1(192.168.10.110)搭建：Mongos、Config Server、副本集1主节点、副本集2仲裁节点、副本集3从节点

Server2(192.168.10.111)搭建：Mongos、Config Server、副本集1从节点、副本集2主节点、副本集3仲裁节点

Server3(192.168.10.112)搭建：Mongos、Config Server、副本集1仲裁节点、副本集2从节点、副本集3主节点

各节点端口号：Mogos:20000 Config:21000 Shard1:22001 Shard2:22002 Shard3:22003

基础配置操作

关闭防火墙&seliunx

执行对象{Master,slave1,slave2};所有节点都需要执行

systemctl stop firewalld
systemctl disable firewalld

查看seliunx状态

sestatus
下载&解压MongoDB

执行对象{Master};

wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel80-4.4.4.tgz

解压文件

执行对象{Master};

tar -zxvf mongodb-linux-x86_64-rhel80-4.4.4.tgz -C /usr/
移动文件&修改文件名

执行对象{Master};

mv /usr/mongodb-linux-x86_64-rhel80-4.4.4 /usr/mongodb
配置变量 &变量生效

执行对象{Master,slave1,slave2};所有节点都需要执行

echo '#MongoDB' >> /etc/profile
echo 'export MONGODB_HOME=/usr/mongodb' >> /etc/profile
echo 'export PATH=$PATH:$MONGODB_HOME/bin' >> /etc/profile
source /etc/profile
创建日志和数据log&data目录

执行对象{Master,slave1,slave2};所有节点都需要执行

mkdir -p /data/mongodb/mongos/log
mkdir -p /data/mongodb/config/{data,log}
mkdir -p /data/mongodb/shard1/{data,log}
mkdir -p /data/mongodb/shard2/{data,log}
mkdir -p /data/mongodb/shard3/{data,log}
创建编辑配置文件

执行对象{Master};先在Master上配置，分发至slave1、slave2之后再修改bind_ip即可;

mkdir /usr/mongodb/etc/
cat > /usr/mongodb/etc/config.conf << EOF
pidfilepath=/usr/mongodb/configsrv.pid
dbpath=/data/mongodb/config/data
logpath=/data/mongodb/config/log/congigsrv.log
logappend=true
bind_ip=127.0.0.1,192.168.10.110
port=21000
fork=true
configsvr=true
#副本集名称
replSet=configs
#设置最大连接数
maxConns=20000
EOF
分发到两个Slave节点

执行对象{Master};

scp -r /usr/mongodb root@192.168.10.111:/usr/

scp -r /usr/mongodb root@192.168.10.112:/usr/
修改配置文件的IP地址

执行对象{slave1,slave2};

vi /usr/mongodb/etc/config.conf

pidfilepath=/usr/mongodb/configsrv.pid
dbpath=/data/mongodb/config/data
logpath=/data/mongodb/config/log/congigsrv.log
logappend=true
#bind_ip{master,slave1,slave2}:Change Your local IP Address!!!
bind_ip=127.0.0.1,192.168.10.111
#把192.168.10.111修改成{slave1,slave2}的IP地址
port=21000
fork=true
configsvr=true
replSet=configs #副本集名称
maxConns=20000 #设置最大连接数

检查节点配置

检查Master&slave1&slave2的节点配置

执行对象{Master,slave1,slave2};所有节点都需要执行

1.检查变量{Master,slave1,slave2}
cat /etc/profile

在这里插入图片描述

2.检查日志和数据log&data目录
ls /data/mongodb/

在这里插入图片描述

3.检查文件是否存在&分发成功
ls /usr/mongodb/

在这里插入图片描述

4.检查配置文件
cat /usr/mongodb/etc/config.conf

检查bind_ip中的IP是否为本地IP地址

启动MongoDB服务

执行对象{Master,slave1,slave2};所有节点都需要执行

mongod -f /usr/mongodb/etc/config.conf

配置副本集

登录MongoDB Shell

执行对象{Master};

mongo --port 21000
配置
config = { _id: "configs", members: [ {_id : 0, host : "192.168.10.110:21000"},{_id : 1, host : "192.168.10.111:21000"},{_id : 2, host : "192.168.10.112:21000"}] }
初始化
rs.initiate(config)

在这里插入图片描述

#初始化后命令行前缀先变为configs:SECONDARY（从），过一会儿就会自动变为configs:PRIMARY（主），在哪台机器配置副本集，哪台机器就优先变为主

配置分片

在三台机器上创建编辑以下的配置

执行对象{Master};先在Master上配置，再分发至slave1、slave2即可;

创建编辑shard1配置文件
mkdir /etc/mongod/
cat > /etc/mongod/shard1.conf << EOF
pidfilepath=/usr/mongodb/shard1.pid
dbpath=/data/mongodb/shard1/data
logpath=/data/mongodb/shard1/log/shard1.log
logappend=true
bind_ip=0.0.0.0
port=22001
fork=true
replSet=shard1
#副本集名称
shardsvr=true
#declare this is a shard db of a cluster;
maxConns=20000
#设置最大连接数
EOF
创建编辑shard2配置文件
cat > /etc/mongod/shard2.conf << EOF
pidfilepath=/usr/mongodb/shard2.pid
dbpath=/data/mongodb/shard2/data
logpath=/data/mongodb/shard2/log/shard2.log
logappend=true
bind_ip=0.0.0.0
port=22002
fork=true
replSet=shard2
#副本集名称
shardsvr=true
#declare this is a shard db of a cluster;
maxConns=20000
#设置最大连接数
EOF
创建编辑shard3配置文件
cat > /etc/mongod/shard3.conf << EOF
pidfilepath=/usr/mongodb/shard3.pid
dbpath=/data/mongodb/shard3/data
logpath=/data/mongodb/shard3/log/shard3.log
logappend=true
bind_ip=0.0.0.0
port=22003
fork=true
replSet=shard3
#副本集名称
shardsvr=true #declare this is a shard db of a cluster;
maxConns=20000
#设置最大连接数
EOF
分发到两个Slave节点

执行对象{Master};

scp -r /etc/mongod root@192.168.10.111:/etc/

scp -r /etc/mongod root@192.168.10.112:/etc/
启动shard1

分别在三台机器中启动shard1

执行对象{Master,slave1,slave2};所有节点都需要执行

mongod -f /etc/mongod/shard1.conf
登录Mongo Shell

执行对象{Master or Slave1};

mongo --port 22001
创建副本集

#只能够在192.168.10.110或者192.168.10.111登录MongoDB的22001端口进行配置，创建副本集，之所以不能够在192.168.10.112登录，是因为192.168.10.112是shard1的仲裁节点

use admin
config = { _id: "shard1", members: [ {_id : 0, host : "192.168.10.110:22001"}, {_id: 1,host : "192.168.10.111:22001"},{_id : 2, host : "192.168.10.112:22001",arbiterOnly:true}] }
初始化
rs.initiate(config)

在这里插入图片描述

启动shard2

分别在三台机器中启动shard2

执行对象{Master,slave1,slave2};所有节点都需要执行

mongod -f /etc/mongod/shard2.conf
登录Mongo Shell

执行对象{slave1 or slave2};

mongo --port 22002
创建副本集

#只能够在192.168.10.111或者192.168.10.112登录MongoDB的22002端口进行配置，创建副本集，之所以不能够在192.168.10.110登录，是因为192.168.10.110是shard2的仲裁节点

use admin
config = { _id: "shard2", members: [ {_id : 0, host : "192.168.10.110:22002" ,arbiterOnly:true},{_id : 1, host : "192.168.10.111:22002"},{_id : 2, host : "192.168.10.112:22002"}] }
初始化
rs.initiate(config)

在这里插入图片描述

启动shard3

分别在三台机器中启动shard2

执行对象{Master,slave1,slave2};所有节点都需要执行

mongod -f /etc/mongod/shard3.conf
登录Mongo Shell

执行对象{slave1 or slave2};

mongo --port 22003
创建副本集

#只能够在192.168.10.110或者192.168.10.112登录MongoDB的22003端口进行配置，创建副本集，之所以不能够在192.168.10.111登录，是因为192.168.10.111是shard3的仲裁节点

use admin
config = { _id: "shard3", members: [ {_id : 0, host : "192.168.10.110:22003"},  {_id : 1, host : "192.168.10.111:22003", arbiterOnly:true}, {_id : 2, host : "192.168.10.112:22003"}] }
初始化
rs.initiate(config)

在这里插入图片描述

配置Mongos路由服务器

编辑配置文件

执行对象{Master,slave1,slave2};所有节点都需要执行

cat > /etc/mongod/mongos.conf << EOF
pidfilepath=/usr/mongodb/mongos.pid
logpath=/data/mongodb/mongos/log/mongos.log
logappend=true
bind_ip=0.0.0.0
port=20000
fork=true
configdb=configs/192.168.10.110:21000,192.168.10.111:21000,192.168.10.112:21000
maxConns=20000
EOF
启动服务

分别在三台机器中启动Mongos服务 #注意命令，前面用的是mongod，现在用的是mongos!!!

执行对象{Master,slave1,slave2};所有节点都需要执行

mongos -f /etc/mongod/mongos.conf
创建副本集
登录Mongo Shell

执行对象{Master or slave1 or slave2};

mongo --port 20000

创建副本集 #只能够在192.168.10.110或者192.168.10.112登录MongoDB的22003端口进行配置，创建副本集，之所以不能够在192.168.10.111登录，是因为192.168.10.111是shard3的仲裁节点

sh.addShard("shard1/192.168.10.110:22001,192.168.10.111:22001,192.168.10.112:22001")
sh.addShard("shard2/192.168.10.110:22002,192.168.10.111:22002,192.168.10.112:22002")
sh.addShard("shard3/192.168.10.110:22003,192.168.10.111:22003,192.168.10.112:22003")

在这里插入图片描述

查看集群状态

sh.status()

在这里插入图片描述

测试MongoDB分片

登录任意机器连接MongoDB的20000端口

mongo --port 20000

指定要分片的库db1 #如果db1不存在会自动创建，指定分片的库的第二种方式：db.runCommand({ enablesharding : “db1”})

sh.enableSharding("db1")

在db1库中创建/指定分片的集合cl01 #第二种方式：db.runCommand( { shardcollection : “db1.cl01”,key : {id: 1} } )

sh.shardCollection("db1.cl01",{"id":1} )

查看状态sh.status()中databases项即可看到db1库与cl01集合

sh.status()

在这里插入图片描述

分别在三台机器中启动Mongos服务 #注意命令，前面用的是mongod，现在用的是mongos!!!

执行对象{Master,slave1,slave2};所有节点都需要执行

mongos -f /etc/mongod/mongos.conf
创建副本集
登录Mongo Shell

执行对象{Master or slave1 or slave2};

mongo --port 20000

创建副本集 #只能够在192.168.10.110或者192.168.10.112登录MongoDB的22003端口进行配置，创建副本集，之所以不能够在192.168.10.111登录，是因为192.168.10.111是shard3的仲裁节点

sh.addShard("shard1/192.168.10.110:22001,192.168.10.111:22001,192.168.10.112:22001")
sh.addShard("shard2/192.168.10.110:22002,192.168.10.111:22002,192.168.10.112:22002")
sh.addShard("shard3/192.168.10.110:22003,192.168.10.111:22003,192.168.10.112:22003")

在这里插入图片描述

查看集群状态

sh.status()

在这里插入图片描述

测试MongoDB分片

登录任意机器连接MongoDB的20000端口

mongo --port 20000

指定要分片的库db1 #如果db1不存在会自动创建，指定分片的库的第二种方式：db.runCommand({ enablesharding : “db1”})

sh.enableSharding("db1")

在db1库中创建/指定分片的集合cl01 #第二种方式：db.runCommand( { shardcollection : “db1.cl01”,key : {id: 1} } )

sh.shardCollection("db1.cl01",{"id":1} )

查看状态sh.status()中databases项即可看到db1库与cl01集合

sh.status()

在这里插入图片描述

NNTCloud
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Mongodb的分片部署
直到世界的尽头
03-01 3224
分片也是一种集群，但是跟主从集群(MongoDB的主从部署)和副本集(Mongodb的副本集部署)实现的功能不一样。容易混淆，我们现在来了解分片。 1.什么时候用分片(参考资料：http://www.2cto.com/database/201208/148030.html) 2.分片的原理(参考资料：http://www.cnblogs.com/huangxincheng/archiv
实验五 MongoDB分片部署与启动
06-07
### 实验五 MongoDB分片部署与启动 #### 实验综述 本次实验旨在深入学习MongoDB的分片机制，理解并掌握如何部署一个基于多服务器的MongoDB分片集群。分片是MongoDB的一项重要特性，它允许将数据分散存储在多个物理...
mongodb分片部署
Software Architect
04-28 4220
1、mongodb分片科普 (各种罗嗦)  Replica Set（副本集）： 副本集使其组内的每个成员（member）在不同的mongod实例中具有相同的数据备份，这样可以将来自应用服务器的请求访问（request visit）得以均匀的分布在Replica Set的每一个成员所在的mongod实例上，用以减缓单台mongod服务器在请求负载上的压力。在一定时限内Replica Set能完成
MongoDB分片部署
最新发布
FCR888的博客
06-23 1484
首先，我们先来了解一下分片的含义。所有的数据库都可以进行手动分片，所以，分片并不是MongoDB所特有的，不同类型的数据均可以通过人为操作被分配到不同的数据库服务器上，然而，人工分片是需要编写相关代码来实现分片功能，并且还不容易维护。MongoDB数据库就可以实现自动分片，它内置了多种分片逻辑，使得MongoDB可以自动处理分片上数据的分布，也可以很容易地管理分片集群。由于数量过大，导致本地磁盘不足以储存的情况；为了提高数据库性能，从而将海量数据存储在内存中，导致单个MongoDB数据库内存不足的情况；
mongodb集群 分片 安装
jnrjian的博客
12-14 237
版权声明：本文为CSDN博主「capricorn_don」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。原文链接：https://blog.csdn.net/capricorn_don/article/details/125720427。将压缩文件拷贝到mongo2和mongo3两台服务器的/opt目录下，然后解压到/opt目录下。首先启动config服务器，然后启动shard服务器，最后启动mongos服务器。使用mongo1机器连接shard1分片服务器。
MongoDB 分片集群安装
eyeofeagle的博客
04-15 1199
文章目录1，安装mongodb服务2，配置分片集群3，启动各服务，验证集群配置mongos连接各分片 1，安装mongodb服务 #安装软件包 [root@c7 mongodb]# rpm -qf /usr/bin/mongo mongodb-org-shell-5.0.7-1.el7.x86_64 [root@c7 mongodb]# rpm -qf /usr/bin/mongod mongodb-org-server-5.0.7-1.el7.x86_64 [root@c7 mongodb]# rpm -
CentOS 7下MongoDB的安装配置详解
01-10
一、Mongodb安装 以下安装步骤以dp用户执行 1. 下载mongodb 3.4.2的安装包: “mongodb-linux-x86_64-rhel70-3.4.2.tgz”，放在～/software下。 2. 解压该文件包： $ cd ～/software $ tar -xf mongodb-linux-x86_64...
MongoDB分片集群部署详解
09-09
MongoDB的分片集群部署是为了解决大数据存储和处理问题，通过将数据分散在多个物理或虚拟机器上，实现水平扩展，以提高数据库的可伸缩性和性能。本篇文章将详细阐述MongoDB分片集群的部署过程和相关概念。 首先，...
Centos7下安装MongoDB
08-24
5. 自动分片：支持云级别的伸缩性：自动分片功能支持水平的数据库集群，可动态添加额外的机器。 6. 丰富的查询：支持丰富的查询表达方式，查询指令使用JSON形式的标记，可轻易查询文档中的内嵌的对象及数组。 7. ...
k8s 安装 mongodb 分片（Sharding）+ 副本集（Replica Set）
04-14
k8s 安装 MongoDB 分片（Sharding）+ 副本集（Replica Set） k8s 安装 MongoDB 分片（Sharding）+ 副本集（Replica Set）是结合 Kubernetes（k8s）和 MongoDB 实现高可用性和高性能的解决方案。本解决方案通过使用 ...
MongoDB分片安装配置及原理
donghaixiaolongwang的博客
04-10 391
参看：http://www.souyunku.com/2018/01/30/MongoDB-3/#2-config-server%E9%85%8D%E7%BD%AE%E6%9C%8D%E5%8A%A1%E5%99%A8注意：上述连接中MongoDB分片集群的配置服务器部分，在新版本（3.2之后）中使用的是复制集。如果是之前的版本照着装就行。 http://www.cnblogs.com/zhouj...
mongodb分片安装
lsh2366254的博客
02-21 503
mongodb分片技术调研环境信息搭建分片复制解压安装包shard1（rx_rep1）复制集shard2（rx_rep2）复制集搭建config节点复制集启动配置复制集合初始化配置节点登录客户端初始化mongos节点mongos配置文件mongos.conf功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特
MongoDB 分片集群部署(无副本)
我希望你能在这找到对你有帮助的东西，这可不仅仅是一个博客呢~
07-31 1157
分片是每个节点存储数据的不同片段，复制集是每个节点存储数据的相同副本。mongos：接收请求和路由请求、config servers：记录所有节点信息、shard：分片集存储数据
MongoDB分片部署（windows）
sinat_20471177的博客
04-16 1488
OS：win10。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

NNTCloud

谢谢大牛的打赏，我接着继续肝！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值