mongodb高可用集群的搭建

最新推荐文章于 2023-05-22 09:37:55 发布
最新推荐文章于 2023-05-22 09:37:55 发布
阅读量1.1k 收藏 4
点赞数 1
分类专栏： 游研 文章标签： mongodb redis 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MrQueens/article/details/121566034
版权

请添加图片描述shard，mongodb的分片集合，将一个shard部署在不同的机器上。
config servers 用于给router分配合适的shard。
router 负责给客户端分配合适的config，从config中获取shard，再从shard上获取数据

Mongodb下载

mongodb 4.1.27下载http://downloads.mongodb.org/linux/mongodb-linux-aarch64-ubuntu1804-4.2.17.tgz

安装

在 192.168.200.131，192.168.200.132，192.168.200.133三台ubuntu18.04虚拟机下新建mongo文件夹。
sudo mkdir /usr/local/mongo
cd /usr/local/mongo
sudo mkdir key
sudo mkdir config
sudo mkdir route
sudo mkdir shard1
sudo mkdir shard2
sudo mkdir shard3
sudo mkdir config/log
sudo mkdir config/data
sudo mkdir config/pid
sudo mkdir route/log
sudo mkdir shard1/log
sudo mkdir shard2/log
sudo mkdir shard3/log
sudo mkdir route/data
sudo mkdir route/pid
sudo mkdir shard1/data
sudo mkdir shard1/pid
sudo mkdir shard2/pid
sudo mkdir shard2/data
sudo mkdir shard3/pid
sudo mkdir shard3/data
在这里插入图片描述
在这里插入图片描述
在三台机器上，分别将mongodb-linux-x86_64-ubuntu1804-4.2.1.tgz解压，将bin中的所有文件复制到/usr/local/mongo/bin
在这里插入图片描述

在etc/profile中添加export PATH=$PATH:/usr/local/mongo/bin

在这里插入图片描述

配置分片

shard1.conf

#指定数据目录，默认是/data/db/。每个mongod进程都需要独立的目录

dbpath=/usr/local/mongo/shard1/data

#日志文件存放目录

logpath=/usr/local/mongo/shard1/log/shard1.log

#进程存放目录

pidfilepath=/usr/local/mongo/shard1/pid/shard1.pid

#一个数据库一个文件夹

directoryperdb=true

#使用追加的方式写日志

logappend=true

#集群名字

#这个是创建副本集的方式,如果master指定了，这个地方不可以再指定了

replSet=shard1

#指定服务器监听的端口，默认是27017

port=22001
bind_ip=0.0.0.0

#以守护进程的方式运行MongoDB

fork=true

#启用日志选项，MongoDB的数据操作将会写入到journal文件夹的文件里

journal=true

#此实例为shard（分片），侦听27018端口

shardsvr=true

shard2.conf

#指定数据目录，默认是/data/db/。每个mongod进程都需要独立的目录

dbpath=/usr/local/mongo/shard2/data

#日志文件存放目录

logpath=/usr/local/mongo/shard2/log/shard2.log

#进程存放目录

pidfilepath=/usr/local/mongo/shard2/pid/shard2.pid

#一个数据库一个文件夹

directoryperdb=true

#使用追加的方式写日志

logappend=true

#集群名字

#这个是创建副本集的方式,如果master指定了，这个地方不可以再指定了

replSet=shard2

#指定服务器监听的端口，默认是27017

port=22002
bind_ip=0.0.0.0
#以守护进程的方式运行MongoDB

fork=true

#启用日志选项，MongoDB的数据操作将会写入到journal文件夹的文件里

journal=true

#此实例为shard（分片），侦听27018端口

shardsvr=true

shard3.conf

#指定数据目录，默认是/data/db/。每个mongod进程都需要独立的目录

dbpath=/usr/local/mongo/shard3/data

#日志文件存放目录

logpath=/usr/local/mongo/shard3/log/shard3.log

#进程存放目录

pidfilepath=/usr/local/mongo/shard3/pid/shard3.pid

#一个数据库一个文件夹

directoryperdb=true

#使用追加的方式写日志

logappend=true

#集群名字

#这个是创建副本集的方式,如果master指定了，这个地方不可以再指定了

replSet=shard3

#指定服务器监听的端口，默认是27017

port=22003
bind_ip=0.0.0.0

#以守护进程的方式运行MongoDB

fork=true

#启用日志选项，MongoDB的数据操作将会写入到journal文件夹的文件里

journal=true

#此实例为shard（分片），侦听27018端口

shardsvr=true

route.conf

#指定数据目录，默认是/data/db/。每个mongod进程都需要独立的目录

dbpath=/usr/local/mongo/shard3/data

#日志文件存放目录

logpath=/usr/local/mongo/shard3/log/shard3.log

#进程存放目录

pidfilepath=/usr/local/mongo/shard3/pid/shard3.pid

#一个数据库一个文件夹

directoryperdb=true

#使用追加的方式写日志

logappend=true

#集群名字

#这个是创建副本集的方式,如果master指定了，这个地方不可以再指定了

replSet=shard3

#指定服务器监听的端口，默认是27017

port=22003
bind_ip=0.0.0.0

#以守护进程的方式运行MongoDB

fork=true

#启用日志选项，MongoDB的数据操作将会写入到journal文件夹的文件里

journal=true

#此实例为shard（分片），侦听27018端口

shardsvr=true

route.conf

configdb=config/192.168.200.131:21000,192.168.200.132:21000,192.168.200.133:21000

#进程存放目录

pidfilepath=/usr/local/mongo/route/pid/route.pid

#指定服务器监听的端口，默认是27017

port=20000
bind_ip=192.168.200.131

#sharded集群中每个chunk的大小，单位：MB，默认为64

#chunkSize=1

#日志文件存放目录

logpath=/usr/local/mongo/route/log/route.log

#使用追加的方式写日志

logappend=true

#以守护进程的方式运行

fork=true

在三台机器上都进行配置shard1 ，shard2，shard3，route，config的配置
将shard1 放在/usr/local/mongo/shard1/下
在这里插入图片描述

将shard2 放在/usr/local/mongo/shard2/下
在这里插入图片描述

将shard3 放在/usr/local/mongo/shard3/下
在这里插入图片描述

将route 放在/usr/local/mongo/route/下
在这里插入图片描述

将config 放在/usr/local/mongo/config/下
在这里插入图片描述

启动

在三台机器上分别执行
mongod -f /usr/local/mongo/shard1/shard1.conf
mongod -f /usr/local/mongo/shard2/shard2.conf
mongod -f /usr/local/mongo/shard2/shard2.conf

shard1设置

在192.168.200.131上连接mongodb192.168.200.131：22001
mongo --host 192.168.200.131 --port 22001
use admin
db.runCommand({
“replSetInitiate”: {
“_id”: “shard1”,
“members”: [{
“_id”: 0,
“host”: “192.168.200.131:22001”,
priority: 10
},
{
“_id”: 1,
“host”: “192.168.200.132:22001”,
priority: 8
},
{
“_id”: 2,
“host”: “192.168.200.133:22001”,
arbiterOnly: true
}]
}
});

shard2设置

退出连接shard1，连接shard2
mongo --host 192.168.200.131 --port 22002
use admin
db.runCommand({
“replSetInitiate”: {
“_id”: “shard2”,
“members”: [{
“_id”: 0,
“host”: “192.168.200.131:22002”,
priority: 10
},
{
“_id”: 1,
“host”: “192.168.200.132:22002”,
priority: 8
},
{
“_id”: 2,
“host”: “192.168.200.133:22002”,
arbiterOnly: true
}]
}
});

shard3设置

退出连接shard2，连接shard3
mongo --host 192.168.200.131 --port 22003
use admin
db.runCommand({
“replSetInitiate”: {
“_id”: “shard3”,
“members”: [{
“_id”: 0,
“host”: “192.168.200.131:22003”,
priority: 10
},
{
“_id”: 1,
“host”: “192.168.200.132:22003”,
priority: 8
},
{
“_id”: 2,
“host”: “192.168.200.133:22003”,
arbiterOnly: true
}]
}
});

启动config

在三台机器上启动config
mongod -f /usr/local/mongo/config/config.conf
在192.168.200.131上执行mongo --host 192.168.200.131 --port 21000
use admin
db.runCommand({
“replSetInitiate”: {
“_id”: “config”,
“members”: [{
“_id”: 0,
“host”: “192.168.200.131:21000”
},
{
“_id”: 1,
“host”: “192.168.200.132:21000”
},
{
“_id”: 2,
“host”: “192.168.200.133:21000”
}]
}
});

启动route

在三台机器上执行mongs -f /usr/local/mongo/route/route.conf
在192.168.200.131上执行mong --host 192.168.200.131 --port 20000
use admin
db.runCommand({
addshard: “shard1/192.168.200.131:22001,192.168.200.132:22001,192.168.200.133:22001”
})

db.runCommand({
addshard: “shard2/192.168.200.131:22002,192.168.200.132:22002,192.168.200.133:22002”
})

db.runCommand({
addshard: “shard3/192.168.200.131:22003,192.168.200.132:22003,192.168.200.133:22003”
})
创建库 testdb，同时建立索引
db.runCommand({enablesharding:“testdb”})
db.runCommand({shardcollection:“testdb.users”,key:{id:1}})
use testdb

插入数据
var arr=[];
for (var i=0;i<1500000 ;i++){
var uid = i;
var name =“name000”;
arr.push({“id”:uid,“name”:name});
};
db.users.insertMany(arr);
通过sh.sttaus()可以看到数据分片
在这里插入图片描述
数据库清空
killall -9 mongod
killall -9 mongos
rm -rf /usr/local/mongo/config/data/*
rm -rf /usr/local/mongo/config/pid/*
rm -rf /usr/local/mongo/config/log/*
rm -rf /usr/local/mongo/route/data/*
rm -rf /usr/local/mongo/route/pid/*
rm -rf /usr/local/mongo/route/log/*
rm -rf /usr/local/mongo/shar1/data/*
rm -rf /usr/local/mongo/shar1/log/*
rm -rf /usr/local/mongo/shar1/pid/*
rm -rf /usr/local/mongo/shar2/data/*
rm -rf /usr/local/mongo/shar2/log/*
rm -rf /usr/local/mongo/shar2/pid/*
rm -rf /usr/local/mongo/shar3/data/*
rm -rf /usr/local/mongo/shar3/log/*
rm -rf /usr/local/mongo/shar3/pid/*

本文参考
https://blog.csdn.net/qq_21153619/article/details/81474564
https://www.bilibili.com/video/BV1p4411J7sq?from=search&seid=2720165750666654784&spm_id_from=333.337.0.0

勝ち取った
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Mongodb集群搭建的三种方式
2401_84009488的博客
04-02 458
其实关于Kafka，能问的问题实在是太多了，扒了几天，最终筛选出44问：基础篇17问、进阶篇15问、高级篇12问，个个直戳痛点，不知道如果你不着急看答案，又能答出几个呢？若是对Kafka的知识还回忆不起来，不妨先看我手绘的知识总结脑图（xmind不能上传，文章里用的是图片版）进行整体架构的梳理梳理了知识，刷完了面试，如若你还想进一步的深入学习解读kafka以及源码，那么接下来的这份《手写“kafka”》将会是个不错的选择。Kafka入门为什么选择KafkaKafka的安装、管理和配置。
『MongoDB』MongoDB高可用部署架构——分片集群篇（Sharding）
老陈聊架构
03-23 3190
📣读完这篇文章里你能收获到，为什么要使用分片吗， Mongodb分片集群有哪些特点了， Mongodb分片集群的完整架构，Mongodb分片集群数据分布方式， Mongodb分片集群的设计思路， Mongodb分片集群搭建及扩容...
mongodb 高可用架构
u014039526的博客
03-21 434
mongodb高可用架构方案
MongoDB 3.4 高可用集群搭建（四）—— 分片
weixin_34388207的博客
02-10 510
按照上一节中《MongoDB 3.4 高可用集群搭建（三）深入副本集内部机制》搭建后还有两个问题没有解决： 从节点每个上面的数据都是对数据库全量拷贝，从节点压力会不会过大？ 数据压力大到机器支撑不了的时候能否做到自动扩展？ 在系统早期，数据量还小的时候不会引起太大的问题，但是随着数据量持续增多，后续迟早会出现一台机器硬件瓶颈问题的。而mongodb主打的就是海量数据架构，他不能解...
MongoDB集群搭建与管理（集群搭建 分片 扩缩容 搭建高可用集群）
m0_46690280的博客
08-14 1276
MongoDB集群搭建MongoDB集群搭建MongoDB集群搭建MongoDB集群简介Mongo分片高可用集群搭建整体架构基础环境准备搭建ConfigServer副本集搭建Shard分片组搭建MongosDocker-compose方式搭建启动服务 MongoDB集群搭建 MongoDB集群搭建 MongoDB集群简介 mongodb 集群搭建的方式有三种： 主从备份（Master - Slave）模式，或者叫主从复制模式。 副本集（Replica Set）模式 分片（Sharding）模式 其中，第一
MongoDB第二话 -- MongoDB高可用集群实现
生生不息，则源源不断
06-29 528
本文主要记录MongoDB集群的搭建坏境准备：liunx centos7，docker-compose，镜像mongo:4.2.21。 一主一从一仲裁，在一台机实现了 2.启动容器 3.初始化集群 _id：对应的replSet 名称 host：如果需要程序连接，需要填宿主机IP arbiterOnly:true 表示该节点为仲裁节点 5.模拟master节点挂掉 停掉master节点，进入slave节点容器中查看状态 可以看到原来的slave节点已经变成了PRIMARY主节点 集群未初始化......
mongodb高可用完全分布集群搭建
09-12
MongoDB高可用完全分布集群搭建 mongodb是当前最流行的NoSQL数据库之一，具有高性能、高可用性和水平扩展能力的特点。然而，为了充分发挥mongodb的性能和高可用性，需要对其进行合理的架构设计和部署。以下是...
高可用mongodb集群搭建
04-06
手把手教你搭建mongodb集群--分片
搭建高可用mongodb集群
03-02
NoSQL的产生就是为了解决大数据量、高扩展性、高性能、灵活数据模型、高可用性。但是光通过主从模式的架构远远达不到上面几点，由此MongoDB设计了副本集和分片的功能。这篇文章主要介绍副本集：mongoDB官方已经不...
搭建高可用的MongoDB集群
03-03
高性能、易扩展一直是MongoDB的立足之本，同时规范的文档和接口更让其深受用户喜爱，这一点从分析DB-Engines的得分结果不难看出——仅仅1年时间，MongoDB就完成了第7名到第五名的提升，得分就从124分上升至214分，...
k8s部署mongodb副本高可用集群
最新发布
ningkangming的博客
05-22 2315
mongodb集群部署分两种情况，一是只部署副本机制，不使用分片，另一种情况是使用分片集群。使用分片的情况下会略复杂，但基本部署方法和只部署副本的方法是差不多的，只不过是多了一些角色。这里只介绍部署副本集群到k8s集群。
MongoDB高可用集群搭建（主从、分片、路由、安全验证）
qq_21153619的博客
08-07 4692
目录 一、环境准备 1、部署图 2、模块介绍 3、服务器准备 二、环境变量 1、准备三台集群 2、安装解压 3、配置环境变量 三、集群搭建 1、新建配置目录 2、修改配置文件 3、分发其他节点 4、批量启动 5、创建配置服务器副本集 四、集群测试 1、启动路由服务器客户端 2、插入数据 3、验证主从 5、web控制台（浏览器访问） 1、登陆路由服务器 2、...
MongoDB高可用集群搭建
weixin_30808253的博客
09-21 98
MongoDB副本集搭建 准备三台服务器： 　　10.175.120.131(主节点) 　　10.175.121.134(副本节点) 　　10.175.121.136(副本节点) 1.分别在每台服务器上安装MongoDB，并通过配置文件启动服务，配置文件如下： dbpath=/data/db #指定数据库路径 logpath=/data/mongo...
MongoDB 3.4 高可用集群搭建（三）深入副本集内部机制
weixin_34111790的博客
02-10 302
在上一篇文章《MongoDB 3.4 高可用集群搭建（二）replica set 副本集》 介绍了副本集的配置，这篇文章深入研究一下副本集的内部机制。还是带着副本集的问题来看吧！  副本集故障转移，主节点是如何选举的？能否手动干涉下架某一台主节点。 官方说副本集数量最好是奇数，为什么？ mongodb副本集是如何同步的？如果同步不及时会出现什么情况？会不会出现不一致性？ mongodb...
MongoDB分片集群 Shard Cluster
rzpy_qifengxiaoyue的博客
10-10 608
文章目录1. 什么是分片2. 为什么要分片3. 分片的工作原理4. 分片集群搭建4.1 配置 并启动config 节点集群4.2 配置shard集群4.3 配置和启动 路由节点4.4 mongos(路由)中添加分片节点4.5 开启数据库和集合分片(指定片键)4.6 向集合中插入数据测试4.7 验证分片效果 1. 什么是分片 分片(sharding)是MongoDB用来将大型集合水平分割到不同服务器(或者复制集)上所采用的方法。 不需要功能强大的大型计算机就可以存储更多的数据，处理更大的负载。 2. 为什么要
MongoDB集群高可用
小城我家
09-27 577
MongoDB集群高可用 MongoDB主从复制架构原理和缺陷 master-slave架构中master节点负责数据的读写，slave没有写入权限只负责读取数据 在主从结构中，主节点的操作记录成为oplog（operation log）。oplog存储在系统数据库local的oplog.$main集合中，这个集合的每个文档都代表主节点上执行的一个操作。从服务器会定期从主服务器中获取oplog记录，然后在本机上执行！对于存储oplog的集合，MongoDB采用的是固定集合，也就是说着操作过多，新的操作会覆
MongoDB 高可用集群配置
Omega29的博客
08-12 291
本例搭建mongodb 3副本集+3分片的集群环境（主机3台），基本配置流程如下文 1. 编辑配置文件，分别在3台主机上新建配置文件config.conf、mongos.conf、shard1.conf、shard2.conf、shard3.conf。内容如下 端口规划 mongos：20000 config：21000 shard1：27001 shard2：27002 shard3：27003 （1）config.conf pidfilepath = /home/mongodb/config/lo
项目之mongodb高可用方案
路远未至之
03-08 1004
本次项目中，我们mongodb采用两个集群，一个集群3个实例，两个集群分别存错日志数据和做日志的分布式存储。采用Replica Set sharding 方式 Shard Server: 用于存储实际的数据块，shard server角色由一个主节点和两个relica set（副本集）承担，防止主机单点故障。 Config Server: 存储了整个 Cluster Metadata，其中包括...
Mongodb高可用5台服务器搭建 - 201812161
08-08
由第一节点mongodb节点规划图所示：在服务器31，即node1上安装mongos、shard1、shard4、shard5mkdir -p /opt/app

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值