数据库系列之MongoDB主从复制集群环境

最新推荐文章于 2023-07-17 09:59:06 发布
最新推荐文章于 2023-07-17 09:59:06 发布
阅读量404 收藏 3
点赞数
分类专栏： 数据库系列 # mongodb 文章标签： 数据库 mongodb
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/solihawk/article/details/116203702
版权

MongoDB集群环境有3种模式：主从复制、副本集和分片，本文详细介绍主从复制模式的部署和配置，并进行测试验证。

数据库系列之MongoDB主从复制集群环境
数据库系列之MongoDB副本集集群环境
数据库系列之MongoDB分片集群环境

1、MongoDB基本概念
1.1 MongoDB特性

MongoDB是一个可扩展的高性能、开源、模式自由，面向文档的数据库。它使用C++编写，主要包含以下特点：

  • 面向集合的存储：适合存储对象及JSON形式的数据
  • 动态查询：Mongo支持丰富的查询方式，查询指令使用JSON形式的标记，可轻易查询文档中内嵌的对象及数组
  • 完整的索引支持：包括文档内嵌对象及数组。Mongo 的查询优化器会分析查询表达式，并生成一个高效的查询计划
  • 查询监视：Mongo包含一个监控工具用于分析数据库操作性能
  • 复制及自动故障转移：Mongo 数据库支持服务器之间的数据复制，支持主-从模式及服务器之间的相互复制。复制的主要目的是提供冗余及自动故障转移
  • 高效的传统存储方式：支持二进制数据及大型对象（如照片或图片）
  • 自动分片以支持云级别的伸缩性：自动分片功能支持水平的数据库集群，可动态添加额外的机器
1.2 MongoDB集群架构

MongoDB集群环境有3中模式：主从复制、副本集和分片。

1）主从复制

主从复制模式，可用于备份、故障恢复和读扩展，最简单的设置是建立一个主节点和一个或多个从节点，结构图如下：

在这里插入图片描述

配置主从复制需要注意以下几点：

  • 在数据库集群中需明确知道谁是主服务器，主服务器只有一台
  • 从服务器要知道自己的数据源，也就是对应的主服务是谁
  • -master用来确定主服务器，-slave和-source来控制从服务器

2）副本集

副本集有点类似主从复制，不过跟真正的主从复制还是有两点区别的：

  • 该集群没有特定的主数据库
  • 如果哪个主数据库宕机了，集群中就会推选出一个从属数据库作为主数据库顶上，这就具备了自动故障恢复功能

结构图如下所示：

在这里插入图片描述

  • 第一张图表明A是活跃的B和C是用于备份的
  • 第二张图当A出现了故障,这时候集群根据权重算法推选出B为活跃的数据库
  • 第三张图当A恢复后他自动又会变为备份数据库

3）分片Sharding

分片技术，跟关系数据库的表分区类似，当数据量达到T级别的时候，服务器的磁盘和内存压力比较大，或者单个MongoDB服务器已经不能满足大量的插入操作，来针对这样的场景可以使用MongoDB提供的分片技术。当然分片除了解决空间不足的问题之外，还可以极大的提升的查询速度。

MongoDB采用将集合进行拆分，然后将拆分的数据均摊到几个片上， 结构如下图:

在这里插入图片描述

从图中可以看到有四个组件：mongos、configure server、shard、replica set：

  • mongos：数据库集群请求的入口，所有的请求都通过mongos进行协调，不需要在应用程序添加路由选择器，mongos自己就是一个请求分发中心，它负责把对应的数据请求请求转发到对应的shard服务器上。在生产环境通常有多mongos作为请求的入口，防止其中一个挂掉所有的mongodb请求都没有办法操作。
  • config server：配置服务器，存储所有数据库元信息（路由、分片）的配置。由于mongos本身没有物理存储分片服务器和数据路由信息，只是缓存在内存里，配置服务器则实际存储这些数据。mongos第一次启动或者关掉重启就会从config server加载配置信息，以后如果配置服务器信息变化会通知到所有的mongos更新自己的状态，这样mongos 就能继续准确路由。在生产环境通常有多个 config server 配置服务器，因为它存储了分片路由的元数据。当config servers replica sets的主服务丢失且无法选出一个primary，cluster的数据会变成只读。Shards中的数据还可以读写，但是不能出现chunk migration和chunk splits。如果所有config servers不可访问，cluster则不可操作。
  • shard：分片，保存具体的存储信息，分片的设置可以减少数据集中在一台机器的压力，减少硬盘的读写、网络的IO、CPU和内存的瓶颈。在MongoDB集群中只要设置好了分片规则，通过 mongos操作数据库就能自动把对应的数据操作请求转发到对应的分片机器上。在生产环境中分片的片键规则会影响到数据的均衡分布。
  • replica set：分片如果没有replica set是个不完整架构，假设其中的一个分片挂掉这部分数据就丢失了，所以在高可用性的分片架构还需要对于每一个分片构建replica set副本集以保证分片的可靠性。生产环境通常是2个副本+1个仲裁。
2、主从复制
2.1 配置主从服务器

1）解压安装文件到指定目录

[root@tango-centos01 src-install]# tar -xzvf mongodb-linux-x86_64-rhel70-3.6.3.tgz -C /usr/local/mongodb

2）创建数据文件路径

将数据文件和日志文件放在data目录下，并创建数据文件目录和日志文件目录

[root@tango-centos01 local]# cd mongodb
[root@tango-centos01 mongodb]# ls
mongodb-linux-x86_64-rhel70-3.6.3
[root@tango-centos01 mongodb]# mkdir data
[root@tango-centos01 mongodb]# mkdir logs
[root@tango-centos01 mongodb]# ls
data  logs  mongodb-linux-x86_64-rhel70-3.6.3

3）配置Master服务器

[root@tango-centos01 config]# vi master.conf
#MongoDB config - 2018.05.15

#config database path
dbpath = /usr/local/mongodb/data

#config log path
logpath = /usr/local/mongodb/logs/mongodb.log

#config port
port = 27017
bind_ip = 192.168.112.101

#config fork
fork = true

#master server
master = true

4）从主服务器拷贝介质到从服务器

[root@tango-centos01 local]# scp -r mongodb 192.168.112.102:/usr/local/
[root@tango-centos01 local]# scp -r mongodb 192.168.112.103:/usr/local/

5）配置Slave服务器

  • 节点2
[root@tango-centos02 config]# vi slave.conf
#MongoDB config - 2018.05.15

#config database path
dbpath = /usr/local/mongodb/data

#config log path
logpath = /usr/local/mongodb/logs/mongodb.log

#config port
port = 27017
bind_ip = 192.168.112.102

#config fork
fork = true

#master server
source = 192.168.112.101:27017
master = false
  • 节点3
[root@tango-centos03 config]# vi slave.conf
#MongoDB config - 2018.05.15

#config database path
dbpath = /usr/local/mongodb/data

#config log path
logpath = /usr/local/mongodb/logs/mongodb.log

#config port
port = 27017
bind_ip = 192.168.112.103

#config fork
fork = true

#master server
source = 192.168.112.101:27017
master = false
2.2 启动集群环境

1）启动主服务器和从服务器MongoDB进程

[root@tango-centos01 mongodb-linux-x86_64-rhel70-3.6.3]#./bin/mongod -f ./config/master.conf
[root@tango-centos02 mongodb-linux-x86_64-rhel70-3.6.3]# ./bin/mongod -f ./config/slave.conf
[root@tango-centos03 mongodb-linux-x86_64-rhel70-3.6.3]# ./bin/mongod -f ./config/slave.conf

2）查看进程

[root@tango-centos01 mongodb-linux-x86_64-rhel70-3.6.3]# ps -ef|grep mongo
root       1217      1  1 14:19 ?        00:00:02 ./bin/mongod -f ./config/master.conf
root       1248   1198  0 14:22 pts/0    00:00:00 grep --color=auto mongo
[root@tango-centos02 mongodb-linux-x86_64-rhel70-3.6.3]# ps -ef|grep mongo
root       1096      1  1 14:20 ?        00:00:01 ./bin/mongod -f ./config/slave.conf
root       1121   1067  0 14:22 pts/0    00:00:00 grep --color=auto mongo
[root@tango-centos03 mongodb-linux-x86_64-rhel70-3.6.3]# ps -ef|grep mongo
root       1097      1  2 14:21 ?        00:00:01 ./bin/mongod -f ./config/slave.conf
root       1122   1064  0 14:23 pts/0    00:00:00 grep --color=auto mongo

3）查看端口

[root@tango-centos01 mongodb-linux-x86_64-rhel70-3.6.3]# netstat -tlnp | grep mongod
tcp        0      0 192.168.112.101:27017   0.0.0.0:*  LISTEN      1217/./bin/mongod
[root@tango-centos02 mongodb-linux-x86_64-rhel70-3.6.3]# netstat -tlnp | grep mongod
tcp        0      0 192.168.112.102:27017   0.0.0.0:*   LISTEN      1096/./bin/mongod
[root@tango-centos03 mongodb-linux-x86_64-rhel70-3.6.3]# netstat -tlnp | grep mongod
tcp        0      0 192.168.112.103:27017   0.0.0.0:*   LISTEN      1097/./bin/mongod

4）登陆主服务器的MongoDB客户端

[[root@tango-centos01 mongodb-linux-x86_64-rhel70-3.6.3]# ./bin/mongo 192.168.112.101:27017
MongoDB shell version v3.6.3
connecting to: mongodb://192.168.112.101:27017/test
MongoDB server version: 3.6.3
Welcome to the MongoDB shell.
…
> use testuse test
switched to db test
>

5）登陆从服务器的MongoDB客户端

[root@tango-centos02 mongodb-linux-x86_64-rhel70-3.6.3]# ./bin/mongo 192.168.112.102:27017
MongoDB shell version v3.6.3
connecting to: mongodb://192.168.112.102:27017/test
MongoDB server version: 3.6.3
Welcome to the MongoDB shell.
…
> use testuse test
switched to db test
>
2.3 集群环境验证

1）插入记录

> use master_slaveuse master_slave
switched to db master_slave
> function add(){function add(){
... var i=0;var i=0;
... for(;i<50;i++) {for(;i<50;i++) {
...   db.person.insert({"name":"wang"+i})  db.person.insert({"name":"wang"+i})
... }}
... }}
> add()add()
> db.person.find()db.person.find()
{ "_id" : ObjectId("5ad835c8eecf420e07ad281e"), "name" : "wang0" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad281f"), "name" : "wang1" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad2820"), "name" : "wang2" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad2821"), "name" : "wang3" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad2822"), "name" : "wang4" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad2823"), "name" : "wang5" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad2824"), "name" : "wang6" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad2825"), "name" : "wang7" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad2826"), "name" : "wang8" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad2827"), "name" : "wang9" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad2828"), "name" : "wang10" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad2829"), "name" : "wang11" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad282a"), "name" : "wang12" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad282b"), "name" : "wang13" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad282c"), "name" : "wang14" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad282d"), "name" : "wang15" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad282e"), "name" : "wang16" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad282f"), "name" : "wang17" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad2830"), "name" : "wang18" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad2831"), "name" : "wang19" }
Type "it" for more
>

2）在从服务器上查询表，提示错误信息：

> db.person.find()db.person.find()
Error: error: {
        "ok" : 0,
        "errmsg" : "not master and slaveOk=false",
        "code" : 13435,
        "codeName" : "NotMasterNoSlaveOk"
}
>

3）因为从节点默认不允许读写的，在从节点执行rs.slaveOk()可解决

> rs.slaveOk();;;
> db.person.find()db.person.find()
{ "_id" : ObjectId("5ad835c8eecf420e07ad281e"), "name" : "wang0" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad281f"), "name" : "wang1" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad2820"), "name" : "wang2" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad2821"), "name" : "wang3" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad2822"), "name" : "wang4" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad2823"), "name" : "wang5" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad2824"), "name" : "wang6" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad2825"), "name" : "wang7" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad2826"), "name" : "wang8" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad2827"), "name" : "wang9" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad2828"), "name" : "wang10" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad2829"), "name" : "wang11" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad282a"), "name" : "wang12" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad282b"), "name" : "wang13" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad282c"), "name" : "wang14" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad282d"), "name" : "wang15" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad282e"), "name" : "wang16" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad282f"), "name" : "wang17" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad2830"), "name" : "wang18" }
{ "_id" : ObjectId("5ad835c8eecf420e07ad2831"), "name" : "wang19" }
Type "it" for more
2.4 主从复制缺陷思考
  1. 主节点挂了能否自动切换连接？目前需要手工切换。
  2. 主节点的写压力过大如何解决？
  3. 从节点每个上面的数据都是对数据库全量拷贝，从节点压力会不会过大？
  4. 就算对从节点路由实施路由访问策略能否做到自动扩展？

参考资料

  1. MongoDB Manual
  2. 高可用的MongoDB集群

转载请注明原文地址：https://blog.csdn.net/solihawk/article/details/116203702
文章会同步在公众号“牧羊人的方向”更新，感兴趣的可以关注公众号，谢谢！
在这里插入图片描述

solihawk
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MongoDB 主从集群 1
m0_37322399的博客
11-06 419
说到集群，生产环境中很多服务都会进行集群部署，那么 mongodb 的集群都有哪些知识点需要掌握呢，先从主从集群开始。
征服 Mongodb 之 主从复制&集群复制
snowolf_37的专栏
11-14 411
廉颇老矣，尚可饭否？然也！ Mongodb的研究总是断断续续，需要持续经营，将其积累，为日后的工作提供参考。 年底了，把今年用到的东西做个收敛。把这个年初就写了点的东西再好好收拾收拾。 今天尝试一把复制集群ReplicateSet模式，做个小总结，后续在这个帖子上不断填充。   集群配置相关链接： 征服 Mongodb 之 安装与系统服务配置 征服 Mongodb 之 主从复制&...
Mongodb主从复制/ 副本集/分片集群介绍
weixin_34220834的博客
07-19 239
  前面的文章介绍了Mongodb的安装使用，在 MongoDB 中,有两种数据冗余方式,一种 是 Master-Slave 模式（主从复制）,一种是 Replica Sets 模式（副本集）。 Mongodb一共有三种集群搭建的方式： Replica Set（副本集）、 Sharding（切片） Master-Slaver（主从）【目前已不推荐使用了！！！】 其中，Shard...
MongoDB 主从集群配置
weixin_34355715的博客
03-30 142
创建必要的目录和认证文件： [root@mongo mongo]# mkdir keyfile [root@mongo mongo]# echo "mongo cluster one" &gt; keyfile/m1 [root@mongo mongo]# echo "mongo cluster one" &gt; keyfile/m2 [root@mongo mongo]# echo "...
mongodb主从集群
weixin_34324081的博客
12-21 163
mongodb安装，请参考mongodb2.6安装篇主从集群mongodb支持在多个机器中通过异步复制达到故障转移和实现冗余。多机器中同一时刻只有一台用于写操作，正是由于这个情况，mongodb提供了数据一致性的保障，担当primary角色的机器能把读操作分发给slave。mongodb的主从集群分为两种：master-slave复制（主从）replica Sets复制（副本...
MongoDB主从环境搭建
07-05
以下是对MongoDB主从环境搭建的详细步骤： 1. **安装MongoDB**： 首先，你需要在所有参与复制的服务器上安装MongoDB。根据你的操作系统（如Ubuntu、CentOS或Windows）下载并安装相应的MongoDB二进制包。 2. **...
MongoDB 主从复制实例讲解
09-10
MongoDB的主从复制是一种传统的高可用性和数据冗余机制，它允许数据在多个服务器之间进行复制，确保数据的安全性和服务的连续性。虽然现在MongoDB推荐使用副本集（Replica Sets）代替主从复制，因为副本集提供了更高...
单台windows搭建mongoDb主从集群
06-01
以下是关于"单台windows搭建mongoDb主从集群"的知识点详细说明： 1. **主从复制（Replication）**: MongoDB的主从复制是其高可用性架构的基础，通过复制数据到多个节点，确保即使主节点故障，从节点也能接管服务，...
MongoDB主从复制.pdf
07-11
实施MongoDB主从复制的过程如下： 1. **配置主节点**：首先，启动一个MongoDB实例作为主节点，例如在D盘，通过命令`mongod --dbpath='XXX' --master`启动，使用默认的27017端口。 2. **配置从节点**：然后启动另一...
mongodb主从复制_动力节点Java学院整理
12-16
我们知道sql server能够做到读写分离，双机热备份和集群部署，当然mongodb也能做到，实际应用中我们不希望数据库采用单点部署，如果碰到数据库宕机或者被毁灭性破坏那是多么的糟糕。 一：主从复制 1： 首先看看模型...
MongoDB 主从集群 2
m0_37322399的博客
11-15 500
继续咱们 mongodb 集群的学习和分享上次分享了 mongodb 主从集群的同步机制（oplog），心跳机制，这次我们继续看看。
MongoDB 主从复制（副本集）
书香水墨
08-03 197
一、 MongoDB复制是将数据同步在多个服务器的过程。 复制提供了数据的冗余备份，并在多个服务器上存储数据副本，提高了数据的可用性， 并可以保证数据的安全性。 复制还允许您从硬件故障和服务中断中恢复数据。 1.1 1.2 1.3 ...
MongoDB主从集群、副本集与分片集群
Experience set us apart!
06-13 3647
MongoDB主从集群、副本集与分片集群的区别
MongoDB的主从复制与复制集
南山行者
05-27 1332
MongoDB分为主从复制和复制集 一，主从复制 mongodb支持传统的master-slave架构。没有自动故障转移功能，需要指定master和slave端。不推荐。 1，创建两个配置文件 vi /etc/mongodb11.cnf dbpath=/usr/local/mongodb/data11 logpath=/usr/local/mongodb/log/mongodb1
mongodb的主从、集群的简单介绍
youtl
10-24 308
主从 mongodb可以设置主从数据库，主从之间读写分离。主数据库只写，从数据库只读。最好再设置一个用于仲裁的mongod（arbiter，占用资源很少，不需要独立的服务器），在主数据库宕机的情况下，arbiter会自动将从数据库升级为主数据库。主从服务器更多是为了数据的安全性，虽能提高一点读写性能，但效果不明显。需要注意的是，因为读写分离，在写入的时候，只写入到主数据库，从数据库是异步写入...
mongodb集群
m0_65931372的博客
06-23 7844
复制提供了数据的冗余备份，并在多个服务器上存储数据副本，提高了数据的可用性， 并保证数据的安全性。 主从复制集群 主从复制只有 1 个主节点，至少有 1 个从节点，可以有多个从节点。它们的身份是在启 MongoDB数据库服务时就需要指定的。所有的从节点都会自动地去主节点获取最新数据，做到主从节点数据保持一致。注意主节点是不会去从节点上读取数据的，只会输出数据到从节点。理论上 1 个集群中可以有无数个从节点，但是这么多的从节点对主节点进行访问，主节点会受不了。《MongoDB 权威指南》中有说不超过 12 个
Mongo集群之主从模式
lienze.tech
12-23 1647
前言 这几年一直在it行业里摸爬滚打，一路走来，不少总结了一些python行业里的高频面试，看到大部分初入行的新鲜血液，还在为各样的面试题答案或收录有各种困难问题 于是乎，我自己开发了一款面试宝典，希望能帮到大家，也希望有更多的Python新人真正加入从事到这个行业里，让python火不只是停留在广告上。 微信小程序搜索：Python面试宝典 或可关注原创个人博客：https://lienze.tech 也可关注微信公众号，不定时发送各类有趣猎奇的技术文章：Python编程学习 集群 mongo中，一个集群
MongoDB集群管理（三）
沉浸式Study
06-25 1479
随着业务数据和并发量的增加，若只使用一台MongoDB服务器，存在着断电和数据风险的问题，故采用Mongodb复制集的方式，来提高项目的高可用、安全性等性能。MongoDB复制是将数据同步到多个服务器的过程。复制提供了数据的冗余备份，并在多个服务器上存储数据副本，提高了数据的可用性， 并可以保证数据的安全性。复制还允许从硬件故障和服务中断中恢复数据。使用集群的目的就是提高可用性。
配置MongoDB主从复制分片群集
最新发布
2301_78212235的博客
07-17 357
二、在centos08到10上安装centos10上安装MongoDB，配置主从复制群集和分片群集，centos08到centos10添加到分片sh2分片群集。一、在centos05到07上安装MongoDB，配置主从复制群集和分片群集，centos05到07添加到部分sh1分片群集。3、在centos07上的配置分片群集添加到sh1分片群集中。2、在centos06上的配置分片群集添加sh1分片群集中。1、在centos08上的配置分片琴技添加sh2分片群集中。创建管理MongoDB组和用户，优化命令。
mongoDB主从复制与分片架构详解
MongoDB是一款分布式文档型数据库，其核心概念包括主从复制、副本集和分片，这些都是保证高可用性和横向扩展的关键组成部分。 1. **主从复制**: 主从复制是MongoDB的一种基本高可用性策略，它允许在一个主节点上...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值