mongodb复制集介绍及搭建

最新推荐文章于 2024-09-06 09:30:59 发布
最新推荐文章于 2024-09-06 09:30:59 发布
阅读量192 收藏
点赞数
分类专栏： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Cpureman/article/details/108551710
版权

文章目录

主从复制和副本集介绍

一、主从复制和副本集

MongoDB提供了两种复制部署方案：主从复制和副本集
●1.主从复制

  • 一个主节点，多个从节点，所有从节点会去主节点获取最新数据，做到主从数据保持一致。

缺点:

  • 当主节点出现宕机，那么集群将不能正常运作，需要先人工将其中一个从节点作为主节点，需要停机操作，使对外服务会有一段空白时间。

●2.副本集

  • 为了解决主从复制的容灾性问题。
  • 没有固定的主节点，集群会自己选举出一个主节点，当这个主节点不能正常工作时，又会另外选举出其他节点作为主节点。副本集中总会有一个活跃节点和一个（多个）备份节点，当当前活跃节点出问题时，备份节点会提升为活跃节点。
  • 在副本集中会有一个只参与投票选举、不复制数据的仲裁节点，用于当票数出现一致时来判决。官方推荐集群节点为奇数。

二、副本集工作原理

●1.oplog（操作日志）

  • 记录数据改变操作（更新插入），oplog是一个固定集合，喂鱼每个复制节点的local的数据库里。新操作会替换旧的操作，以保证oplog不会超过预设的大小，oplog中的每个文档都代表主节点上执行的一个才做。

●2.数据同步

  • 每个oplog都有时间戳，所有从节点都使用这个时间戳来追踪它们最后执行写操作的记录。当某个从节点准备更新自己时，会做三件事：首先，查看自己oplog里的最后一条时间戳；其次，查询主节点oplog里所有大于此时间戳的文档；最后，把那些文档应用到自己库里，并添加写操作文档到自己的oplog里。

●3.复制状态和本地数据库

  • 复制状态的文档记录在本地数据库local中。主节点的local数据库的内容是不会被从节点复制的。如果有不想被从节点复制的文档，可以将它放在本地数据库local中。

●4.阻塞复制

  • 当主节点写入操作太快时，从节点的更新状态有可能跟不上。

为避免这种情况：

  • 使主节点的oplog足够大
  • 阻塞复制：在主节点使用getLastError命令加参数“w”来确保数据的同步性。w越大会导致写操作越慢。

●5.心跳机制

  • 心跳检测有助于发现故障进行自动选举和故障转移。默认情况下副本集成员每两分钟ping一下其他成员，来弄清自己的健康状态。
  • 如果是某一从节点出现故障只会等待从节点重新上线，而如果主节点出现故障，则副本集会开始选举，重新选出新的主节点，原主节点会降级为从节点。

●6.选举机制

  • 根据优先级和Bully算法（评判睡的数据最新）选举出主节点，在选举出主节点之前，整个集群服务是只读的，不能执行写操作。
  • 非仲裁节点都会有优先级配置，范围为0~100，越大值越优先成为主节点，默认为1，如果是0则不能成为主节点。
  • 拥有资格的从节点会向其他节点发出请求，而其他节点在收到选举提议后会判断三个条件：
  • 副本集中是否有其他节点已经是主节点了
  • 自己的数据是否比请求成为主节点的的那个节点上数据更新
  • 副本集中其他节点的数据是否比请求成为主节点的那个节点数据更新
  • 只要有一个条件城里，都会认为对方提议不可行。请求者只要收到任何一个节点返回不合适，都会退出选举。
  • 选举机制会让优先级高的节点成为主节点，即使先选举出了优先级低的节点，也至少会短暂作为主节点运行一段时间。副本集还会再之后继续发出选举，直到优先级最高的节点成为主节点。（后面会有例子）

●7.数据回滚

  • 在从节点成为主节点后，会认为其是副本集中的最新数据，对其他节点的操作都会回滚，即所有节点连接新的主节点重新同步。这些节点会查看自己的oplog，找出新主节点中没有执行过的操作，然后请求操作文档，替换掉自己的异常样本。

mongodb复制集搭建

推荐步骤

[root@localhost shcool]# mkdir -p /data/mongodb/mongodb{2,3,4}    ##创建数据目录
[root@localhost yum.repos.d]# mkdir -p /data/mongodb/logs    ##创建日志
[root@localhost yum.repos.d]# touch /data/mongodb/logs/mongodb{2,3,4}.log   ##创建数据日志文件  
[root@localhost yum.repos.d]# chmod +777 /data/mongodb/logs/*.log    ##增加权限
[root@localhost yum.repos.d]# cd /data/mongodb/
[root@localhost mongodb]# ls
logs  mongodb2  mongodb3  mongodb4
[root@localhost mongodb]# cd logs/
[root@localhost logs]# ls
mongodb2.log  mongodb3.log  mongodb4.log

在这里插入图片描述
修改配置文件

[root@localhost logs]# vim /etc/mongod.conf 
replication:
    replSetName: kgcrs    ##定义数据类型
#sharding:
改过配置文件需要让其生效
[root@localhost logs]# mongod -f /etc/mongod.conf --shutdown   ##先关闭
killing process with pid: 10576
[root@localhost logs]# mongod -f /etc/mongod.conf     ##在启动
about to fork child process, waiting until server is ready for connections.   
forked process: 10937
child process started successfully, parent exiting

[root@localhost logs]# cp -p /etc/mongod.conf /etc/mongod2.conf 
[root@localhost logs]# vim /etc/mongod2.conf
# where to write logging data.
systemLog:
  destination: file
  logAppend: true
  path: /data/mongodb/logs/mongodb2.log    ##修改实例2的日志文件位置
.....
storage:
  dbPath: /data/mongodb/mongodb2     ##数据文件
....
net:
  port: 27018     ##端口号改为18
[root@localhost logs]# cp -p /etc/mongod2.conf /etc/mongod3.conf    
[root@localhost logs]# vim /etc/mongod3.conf    ##修改实例3的配置文件

在这里插入图片描述
同理实例4也是相同的修改

[root@localhost logs]# cp -p /etc/mongod2.conf /etc/mongod4.conf
[root@localhost logs]# vim /etc/mongod4.conf

在这里插入图片描述
在这里插入图片描述
服务启动后能看到4个实例的端口开启
在这里插入图片描述

[root@localhost logs]# mongo    ##登录017的数据库
先将前三个实例做成复制集
> cfg={"_id":"kgcrs","members":[{"_id":0,"host":"192.168.148.134:27017"},{"_id":1,"host":"192.168.148.134:27018"},{"_id":2,"host":"192.168.148.134:27019"}]}

在这里插入图片描述

> rs.initiate(cfg)   ##启动复制集
kgcrs:PRIMARY>      ##变为主
[root@localhost logs]# mongo --port 27018    ##切换为18
kgcrs:SECONDARY>     ##18变为从
[root@localhost logs]# mongo --port 27019    ##切换为19
kgcrs:SECONDARY>      ##19变为从
kgcrs:PRIMARY> rs.status()     ##查看复制级状态

在这里插入图片描述
添加复制集节点

kgcrs:PRIMARY> rs.add("192.168.148.134:27020")    ##添加27020的节点

在这里插入图片描述

kgcrs:PRIMARY> rs.status()    ##查看节点是否添加

在这里插入图片描述
删除复制集节点

kgcrs:PRIMARY> rs.remove("192.168.148.134:27020")

创建复制集时，其他节点不要有数据
在这里插入图片描述

故障转移切换

1.先查看进程
[root@localhost logs]# ps aux | grep mongod
在这里插入图片描述
模拟故障，复制集完成自动切换
2.将主数据库的进程删除，查看选举情况，哪台变为主键

[root@localhost logs]# kill -9 10937     ##将主键的PID号删除
[root@localhost logs]# mongo --port 27019    ##登录到27019的数据库

在这里插入图片描述
手动切换

kgcrs:PRIMARY> rs.freeze(30)    ##暂停30s不参与选举

在这里插入图片描述

kgcrs:PRIMARY> rs.stepDown(60,30)  ##交出主节点位置，维持从节点状态不少于60s,等待30s使主节点和从节点日志同步（交换主从）

在这里插入图片描述

[root@localhost logs]# mongo --port 27018    ##登录到018
kgcrs:PRIMARY>    ##018变为主位

选举复制

1.标准节点 2.仲裁节点 3.被动节点
通过优先级设点，优先级高的是标准节点，低的是被动节点；最后是仲裁节点

[root@localhost logs]# mongo    ##在实例1中设置优先级
> cfg={"_id":"kgcrs","members":[{"_id":0,"host":"192.168.148.134:27017","priority":100},{"_id":1,"host":"192.168.148.134:27018","priority":100},{"_id":2,"host":"192.168.148.134:27019","priority":0},{"_id":3,"host":"192.168.148.134:27020","arbiterOnly":true}]}

在这里插入图片描述

> rs.initiate(cfg)     ##将（cfg）进行初始化，会发现27017变为主键

在这里插入图片描述
kgcrs:PRIMARY> rs.isMaster() ##查看各节点之间的身份
在这里插入图片描述
添加数据

kgcrs:PRIMARY> use test      ##使用test库
switched to db test
kgcrs:PRIMARY> db.t1.insert({"id":1,"name":"jack"})    #创建id为1的“jack”用户
WriteResult({ "nInserted" : 1 })
kgcrs:PRIMARY> db.t1.insert({"id":2,"name":"tom"})    #创建id为2的“tom”用户
WriteResult({ "nInserted" : 1 })
kgcrs:PRIMARY> db.t1.find()
{ "_id" : ObjectId("5f5c2ac07a3ce48c6ccb1dd4"), "id" : 1, "name" : "jack" }
{ "_id" : ObjectId("5f5c2ac97a3ce48c6ccb1dd5"), "id" : 2, "name" : "tom" }

修改数据

kgcrs:PRIMARY> db.t1.update({"id":1},{$set:{"name":"jerrt"}})
WriteResult({ "nMatched" : 1, "nUpserted" : 0, "nModified" : 1 })
kgcrs:PRIMARY> db.t1.find()
{ "_id" : ObjectId("5f5c2ac07a3ce48c6ccb1dd4"), "id" : 1, "name" : "jerrt" }
{ "_id" : ObjectId("5f5c2ac97a3ce48c6ccb1dd5"), "id" : 2, "name" : "tom" }
kgcrs:PRIMARY>

删除数据：

kgcrs:PRIMARY> db.t1.remove({"id":2})
WriteResult({ "nRemoved" : 1 })
kgcrs:PRIMARY> db.t1.find()
{ "_id" : ObjectId("5f5c2ac07a3ce48c6ccb1dd4"), "id" : 1, "name" : "jerrt" }

查看日志信息

kgcrs:PRIMARY> show dbs
admin   0.000GB
config  0.000GB
local   0.000GB     ##local库存放了日志
test    0.000GB
kgcrs:PRIMARY> use local
kgcrs:PRIMARY> show collections     ##查看集合
me
oplog.rs       ##存放了日志信息
replset.election
replset.minvalid
startup_log
system.replset
system.rollback.id
kgcrs:PRIMARY> db.oplog.rs.find()     ##这个命令可以查看日志记录

模拟节点故障查看选举情况

[root@localhost logs]# mongod -f /etc/mongod.conf --shutdown    ##将主节点宕机
[root@localhost logs]# mongo --port 27018     ##用主键中的27018去登录
kgcrs:PRIMARY>     ##发现27018变为主接单

这时将27018也宕机，查看27019会不会参与选举

[root@localhost logs]# mongod -f /etc/mongod2.conf --shutdown     ##将27018宕机
[root@localhost logs]# mongo --port 27019
kgcrs:SECONDARY>     ##发现27019不参与选举

再次将27017恢复，发现主节点依然是他

[root@localhost logs]# mongod -f /etc/mongod.conf      ##恢复端口27017
kgcrs:PRIMARY>      ##发现其还是变为主节点

允许从节点从主节点去读取信息

[root@localhost logs]# mongo --port 27018     ##登录到27018节点上
kgcrs:SECONDARY> show dbs      ##发现查看不到数据库信息
kgcrs:SECONDARY> rs.slaveOk()     ##允许从节点去读取信息
kgcrs:SECONDARY> show dbs
admin   0.000GB
config  0.000GB
local   0.000GB
test    0.000GB     ##数据库信息就存在了

查看复制状态信息

kgcrs:SECONDARY> rs.printReplicationInfo()     ##查看日志文件大小
configured oplog size:   1830.852294921875MB        ##日志文件大小为1830MB
log length start to end: 1842secs (0.51hrs)
oplog first event time:  Sat Sep 12 2020 09:54:46 GMT+0800 (CST)
oplog last event time:   Sat Sep 12 2020 10:25:28 GMT+0800 (CST)
now:                     Sat Sep 12 2020 10:25:33 GMT+0800 (CST)

kgcrs:SECONDARY> rs.printSlaveReplicationInfo()   ##查看哪些节点可以找主节点同步
source: 192.168.148.134:27018     ##27018
	syncedTo: Sat Sep 12 2020 10:30:58 GMT+0800 (CST)
	0 secs (0 hrs) behind the primary 
source: 192.168.148.134:27019    ##27019
	syncedTo: Sat Sep 12 2020 10:30:58 GMT+0800 (CST)
	0 secs (0 hrs) behind the primary 
发现仲裁节点不会去找主节点同步信息

更改日志文件大小
1.将27018的服务关闭

kgcrs:SECONDARY> use admin
switched to db admin
kgcrs:SECONDARY> db.shutdownServer()

2.将配置文件信息注释

[root@localhost logs]# vim /etc/mongod2.conf 
net:
  port: 27028    ##将端口号改为27028
  bindIp: 0.0.0.0  # Listen to local interface only, comment to listen on all interfaces.
#replication:                     ##将参数注销  
#     replSetName: kgcrs
[root@localhost logs]# mongod -f /etc/mongod2.conf    ##重新启动27018端口的实例，这时它就变成一个单实例
[root@localhost logs]# mongodump --port 27028 --db local --collection 'oplog.rs'   ##备份日志信息
[root@localhost logs]# mongo --port 27028
> use local     ##使用local库
switched to db local
> show tables     
me
oplog.rs  
replset.election
replset.minvalid
replset.oplogTruncateAfterPoint
startup_log
system.replset
system.rollback.id
> db.oplog.rs.drop()     ##将日志库删除
true
> db.run
db.runCommand(              db.runReadCommand(
db.runCommandWithMetadata(
> db.runCommand( { create: "oplog.rs", capped: true, size: (2 * 1024 * 1024) } )    ##重建日志信息库
{ "ok" : 1 }
> use admin     ##改完之后将服务停止
switched to db admin
> db.shutdownServer()

3.修改配置文件，将注释取消，修改端口号

net:
  port: 27018    ##端口号改为27018
......
replication:    
     replSetName: kgcrs
     oplogSizeMB: 2048     ##添加日志库大小为2048M        
[root@localhost logs]# mongod -f /etc/mongod2.conf 
[root@localhost logs]# mongo --port 27018
kgcrs:SECONDARY> rs.printReplicationInfo()    ##查看文件大小
configured oplog size:   2MB
log length start to end: 240secs (0.07hrs)
oplog first event time:  Sat Sep 12 2020 11:02:59 GMT+0800 (CST)
oplog last event time:   Sat Sep 12 2020 11:06:59 GMT+0800 (CST)
now:                     Sat Sep 12 2020 11:07:04 GMT+0800 (CST)

[root@localhost logs]# mongo    ##登录到主节点上
kgcrs:PRIMARY> rs.stepDown()    ##将主位让出
[root@localhost logs]# mongo --port 27018    ##再次登陆的27018节点上
kgcrs:PRIMARY>    ##27018变为主节点

部署认证复制

kgcrs:PRIMARY> use admin
switched to db admin
kgcrs:PRIMARY> db.createUser({"user":"root","pwd":"123","roles":["root"]})    ##创建用户
Successfully added user: { "user" : "root", "roles" : [ "root" ] }
[root@localhost logs]# vim /etc/mongod.conf
security:
   keyFile: /usr/bin/kgcrskey1    ##验证路径
   clusterAuthMode: keyFile    ##密钥文件验证
[root@localhost logs]# vim /etc/mongod2.conf

在这里插入图片描述

[root@localhost logs]# vim /etc/mongod3.conf

在这里插入图片描述

[root@localhost logs]# vim /etc/mongod4.conf

在这里插入图片描述
写入4个密钥文件

[root@localhost logs]# cd /usr/bin/
[root@localhost bin]# echo "kgcrs key" > kgcrskey1
[root@localhost bin]# echo "kgcrs key" > kgcrskey2
[root@localhost bin]# echo "kgcrs key" > kgcrskey3
[root@localhost bin]# echo "kgcrs key" > kgcrskey4
[root@localhost bin]# chmod 600 kgc*    ##将文件权限改为600
将文件全部生效；这边就距离27017节点的例子
[root@localhost bin]# mongod -f /etc/mongod.conf --shutdown   
killing process with pid: 11907
[root@localhost bin]# mongod -f /etc/mongod.conf 
登录到主位节点，验证认证测试
[root@localhost bin]# mongo --port 27018  
kgcrs:PRIMARY> show dbs

在这里插入图片描述

kgcrs:PRIMARY> use admin
switched to db admin
kgcrs:PRIMARY> db.auth("root","123")   ##用root身份去登录
1
kgcrs:PRIMARY> show dbs   ##可以查看数据库信息了
admin   0.000GB
config  0.000GB
local   0.000GB
test    0.000GB
kgcrs:PRIMARY> 
从位的节点都需要登录root用户才可以查看数据库信息
长大要当太空人
关注
专栏目录
MongoDB——MongoDB复制集
Cantevenl的博客
04-20 2461
MongoDB复制集MongoDB复制集概述复制集工作原理MongoDB复制集部署配置复制集增加和删除节点MongoDB 复制集切换故障自动切换手动主从切换MongoDB 复制选举原理查看oplog日志配置复制集的优先级模拟主节点故障MongoDB 复制集管理配置允许在从节点读取数据查看复制状态信息更改oplog大小部署认证的复制 MongoDB复制集概述 复制集（Replica Sets）是额外的数据副本，是跨多个服务器同步数据的过程，复制集提供了冗余并增加了数据可用性，通过复制集可以对硬件故障和中断的服
mongodb 复制集搭建实例
08-28
MongoDB复制集搭建实例 MongoDB是一个高性能、开源、无模式的文档型数据库，它以其灵活性、可扩展性和丰富的功能而被广泛应用于大数据处理、Web应用、内容管理系统等多个领域。复制集是MongoDB中的一个重要特性，它...
MongoDB 复制集(Replica Set)
乐沙弥的世界
03-06 5558
复制集(replica Set)或者副本集是MongoDB的核心高可用特性之一，它基于主节点的oplog日志持续传送到辅助节点，并重放得以实现主从节点一致。再结合心跳机制，当感知到主节点不可访问或宕机的情形下，辅助节点通过选举机制来从剩余的辅助节点中推选一个新的主节点从而实现自动切换。这个特性与MySQL MHA实现原理一样。本文主要描述MongoDB复制集并给出创建复制集示例以及完成自动切换。
MongoDB-复制集
最新发布
姜希成的博客
09-06 1040
此模式始终提供数据集的两个完整副本，如果主节点不可用，则复制集选择备节点作为主节点并继续正常操作。local.replset.minvalid：用来记录复制集的跟踪信息，如初始化同步需要的字段。此模式仅提供数据的一个完整副本，如果主节点不可用，则复制集将选择备节点作为主节点。复制集提供冗余和高可用性，是所有生产部署的基础，依赖于两个方面的功能。local.system.replset：用来记录当前复制集的成员。其中，Arbiter节点不存储数据副本，也不提供业务的读写操作。
MongoDB复制集
程序员Forlan的博客
07-14 1147
全面介绍MongoDB复制集方面的内容，做一个知识补充
MongoDB 复制集
hKY0fB8kZ6xY
10-29 506
本文主要讲述了MongoDB复制集的配置，动态修改及部分原理，最后创建了一个自动化部署的脚本。
MongoDB复制集搭建
09-08
MongoDB复制集搭建 MongoDB复制集搭建是 MongoDB 的一个重要特性，它可以提高数据库的可用性和安全性。在本文中，我们将详细介绍 MongoDB 复制集搭建的过程。 复制集的概念 在 MongoDB 中，复制集（Replica Set）...
MongoDB复制集集群配置文件.rar
03-18
配置MongoDB复制集集群和分片通常涉及以下步骤： 1. 安装MongoDB服务器：在所有参与的服务器上安装MongoDB。 2. 初始化复制集：创建配置文件，启动每个成员，并使用`rs.initiate()`命令初始化复制集。 3. 添加副...
Window Mongodb 搭建复制集
10-11
Window Mongodb 搭建复制集
Mongodb3.0.5 副本集搭建及spring和java连接副本集配置详细介绍
09-09
在本文中，我们将详细探讨如何在MongoDB 3.0.5版本中搭建副本集，并介绍如何配置Spring和Java应用程序来连接到这些副本集。 首先，让我们了解副本集的基本概念。MongoDB的副本集由多个成员组成，其中一个作为主节点...
mongodb复制集
10-23
1.1.2. 节点 1.1.3. 工作方式 读写默认都在主节点上,如果对数据要求不是很严格的话,比如日志,可以从从节点上读,减少主节点的压力.
mongodb的复制集
淼淼不暴躁!
06-10 642
mongodb 复制集的搭建
mongodb Replica Set （复制集）
a142151的博客
08-26 834
mongodb主从复制搭建以及常用操作，超级详细
MongoDB数据库——MongoDB复制集
feili12138的博客
03-17 529
MongoDB复制集 什么是MongoDB复制集？ 复制集是由一组拥有相同数据集的mongodb实例所组成的集群，在多台服务器之间同步数据，（差不多跟MySQL的主从复制一个概念） 复制集的优点：1.数据安全性更高，灾难恢复 2.数据可用性大，无需停机维护（比如备份、索引重建、故障转移） ...
MongoDB集群高可用
小城我家
09-27 617
MongoDB集群高可用 MongoDB主从复制架构原理和缺陷 master-slave架构中master节点负责数据的读写，slave没有写入权限只负责读取数据 在主从结构中，主节点的操作记录成为oplog（operation log）。oplog存储在系统数据库local的oplog.$main集合中，这个集合的每个文档都代表主节点上执行的一个操作。从服务器会定期从主服务器中获取oplog记录，然后在本机上执行！对于存储oplog的集合，MongoDB采用的是固定集合，也就是说着操作过多，新的操作会覆
mongodb复制集搭建
u011186019的专栏
06-11 1992
环境：centos 6.5、 mongodb 3.2.7在一台虚拟机中启动三个mongodb服务来模拟 ip:192.168.1.219 端口：27017、27018、27019 27017：配置文件：
Mongodb从0到1系列六： 复制集
匿_名_用_户的专栏
07-28 1296
Mongodb从0到1系列一：下载、安装、启动、停止 Mongodb从0到1系列二：数据库与集合操作文档、增删改查 Mongodb从0到1系列三： 条件查询、大小写 Mongodb从0到1系列四： Limit与Skip方法、排序、索引  Mongodb从0到1系列五： 主从复制 11 复制集 复制集是一个带有故障转移的主从集群。是从现有的主从模式演变而来，增加了自动故障
MongoDB复制集原理
tengxy_cloud的专栏
10-13 983
MongoDB的单实例模式下，一个mongod进程为一个实例，一个实例中包含若干db，每个db包含若干张表。 MongoDB通过一张特殊的表local.oplog.rs存储oplog，该表的特点是：固定大小，满了会删除最旧记录插入新记录，而且只支持append操作，因此可以理解为一个持久化的ring-buffer。oplog是MongoDB复制集的核心功能点。 MongoDB复制集是指Mong
MongoDB复制集安全配置与搭建步骤
"MongoDB复制集搭建涉及多个步骤，包括创建和分发keyfile、配置复制集成员、设置安全性以及启动复制集。" MongoDB复制集是一种高可用性和数据冗余的解决方案，它允许数据在多个节点间同步，确保在单个节点故障时...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值