MongoDB——高级——集群和安全：副本集-Replica Sets（六）

最新推荐文章于 2022-08-11 15:19:12 发布

czq_lh

最新推荐文章于 2022-08-11 15:19:12 发布

阅读量403

点赞数

分类专栏： MongoDB 文章标签：数据库 mongodb

本文链接：https://blog.csdn.net/qq_24757635/article/details/108586523

版权

MongoDB 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

1、简介

MongoDB中的副本集（Replica Set）是一组维护相同数据集的mongod服务。副本集可提供冗余和高可用性，是所有生产部署的基础。

也可以说，副本集类似于有自动故障恢复功能的主从集群。就是用多台机器进行同一数据的异步同步，从而使多台机器拥有同一数据的多个副本，并且当主库当掉时在不需要用户干预的情况下自动切换其他备份服务器做主库。而且还可以利用副本服务器做只读服务器，实现读写分离，提高负载。

（1）冗余和数据可用性

复制提供冗余并提高数据可用性。在不同数据库服务器上提供多个数据副本，复制可以提供一定级别的容错功能，防止丢失单个数据库服务器。在某些情况下，复制也可以增加的读取性能，因为客户端可以将读取操作发送到不同的服务上，在不同数据中心维护数据副本可以增加分布式应用程序的数据位置和可用性。还可以为专用目的维护其他副本，如灾难恢复，报告或备份。

（2）MongoDB中的复制

副本集是一组维护相同数据集的mongod实例。副本集包含多个数据承载节点和可选的一个仲裁节点。在承载数据的节点中，一个且仅一个成员被视为主节点，而其他节点被视为次要（从）节点。

主节点接收所有写操作。副本集只能有一个主要能够确认具有{w：“most”}写入关注的写入; 虽然在某些情况下，另一个mongod实例可能暂时认为自己也是主要的。

主要记录其操作日志中的数据集的所有更改，即oplog。辅助(副本)节点复制主节点的oplog并将操作应用于其数据集，以使辅助节点的数据集反映主节点的数据集。如果主要人员不在，则符合条件的中学将举行选举以选出新的主要人员。

（3）主从复制和副本集区别

主从集群和副本集最大的区别就是副本集没有固定的“主节点”；整个集群会选出一个“主节点”，当其挂掉后，又在剩下的从节点中选中其他节点为“主节点”，副本集总有一个活跃点(主、primary)和一个或多个备份节点(从、secondary)。

2、副本集的三个角色

（1）副本集有两种类型三种角色

主节点（Primary）类型：数据操作的主要连接点，可读写。

次要（辅助、从）节点（Secondaries）类型：数据冗余备份节点，可以读或选举。

（2）三种角色

主要成员（Primary）：主要接收所有写操作。就是主节点。

副本成员（Replicate）：从主节点通过复制操作以维护相同的数据集，即备份数据，不可写操作，但可以读操作（但需要配置）。是默认的一种从节点类型。

仲裁者（Arbiter）：不保留任何数据的副本，只具有投票选举作用。当然也可以将仲裁服务器维护为副本集的一部分，即副本成员同时也可以是仲裁者。也是一种从节点类型。仲裁者将永远是仲裁者

提示：如果你的副本+主节点的个数是偶数，建议加一个仲裁者，形成奇数，容易满足大多数的投票。

如果你的副本+主节点的个数是奇数，可以不加仲裁者。

3、副本集架构目标

一主一副本一仲裁

4、副本集的创建

（1）第一步：创建主节点

#主节点的日志目录和数据目录
mkdir -p /mongodb/replica_sets/myrs_27017/log \ &
mkdir -p /mongodb/replica_sets/myrs_27017/data/db

新建或修改配置文件：

vim /mongodb/replica_sets/myrs_27017/mongod.conf

myrs_27017：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径
  path: "/mongodb/replica_sets/myrs_27017/log/mongod.log"
  #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。
  dbPath: "/mongodb/replica_sets/myrs_27017/data/db"
  journal:
    #启用或禁用持久性日志以确保数据文件保持有效和可恢复。
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/mongodb/replica_sets/myrs_27017/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实例绑定的IP
  bindIp: localhost,192.168.0.2
  #bindIp
  #绑定的端口
  port: 27017
replication:
  #副本集的名称
  replSetName: myrs

启动节点服务：

/usr/local/mongodb/bin/mongod -f /mongodb/replica_sets/myrs_27017/mongod.conf

（2）第二步：创建副本节点

#副本节点
mkdir -p /mongodb/replica_sets/myrs_27018/log \ &
mkdir -p /mongodb/replica_sets/myrs_27018/data/db

新建或修改配置文件：

vim /mongodb/replica_sets/myrs_27018/mongod.conf

myrs_27018：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径
  path: "/mongodb/replica_sets/myrs_27018/log/mongod.log"
  #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。
  dbPath: "/mongodb/replica_sets/myrs_27018/data/db"
  journal:
    #启用或禁用持久性日志以确保数据文件保持有效和可恢复。
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/mongodb/replica_sets/myrs_27018/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实例绑定的IP
  bindIp: localhost,192.168.0.2
  #bindIp
  #绑定的端口
  port: 27018
replication:
  #副本集的名称
  replSetName: myrs

启动节点服务：

/usr/local/mongodb/bin/mongod -f /mongodb/replica_sets/myrs_27018/mongod.conf

（3）第三步：创建仲裁节点

#仲裁节点
mkdir -p /mongodb/replica_sets/myrs_27019/log \ &
mkdir -p /mongodb/replica_sets/myrs_27019/data/db

新建或修改配置文件：

vim /mongodb/replica_sets/myrs_27019/mongod.conf

myrs_27019：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径
  path: "/mongodb/replica_sets/myrs_27019/log/mongod.log"
  #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。
  dbPath: "/mongodb/replica_sets/myrs_27019/data/db"
  journal:
    #启用或禁用持久性日志以确保数据文件保持有效和可恢复。
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/mongodb/replica_sets/myrs_27019/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实例绑定的IP
  bindIp: localhost,192.168.0.2
  #bindIp
  #绑定的端口
  port: 27019
replication:
  #副本集的名称
  replSetName: myrs

启动节点服务：

/usr/local/mongodb/bin/mongod -f /mongodb/replica_sets/myrs_27019/mongod.conf

（4）第四步：初始化配置副本集和主节点

使用客户端命令连接任意一个节点

/usr/local/mongodb/bin/mongo --host=180.76.159.126 --port=27017

连接上之后会有很多命令无法使用，比如 show dbs 等，必须初始化副本集才行

语法：rs.initiate(configuration)，configuration：可选，如果没有配置，则使用默认主节点配置。

使用默认的配置来初始化副本集，执行结果：

> rs.initiate()
{
    "info2" : "no configuration specified. Using a default configuration for
    the set",
    "me" : "180.76.159.126:27017",
    "ok" : 1,
    "operationTime" : Timestamp(1565760476, 1),
    "$clusterTime" : {
        "clusterTime" : Timestamp(1565760476, 1),
        "signature" : {
            "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
            "keyId" : NumberLong(0)
        }
    }
}
myrs:SECONDARY>
myrs:PRIMARY>

提示： 1）“ok”的值为1，说明创建成功。

2）命令行提示符发生变化，变成了一个从节点角色，此时默认不能读写。稍等片刻，回车，变成主节点。

（5）第五步：查看副本集的配置内容

语法：rs.conf(configuration)，configuration：可选，如果没有配置，则使用默认主节点配置。

  myrs:PRIMARY> rs.conf()
    {
      "_id" : "myrs",  #副本集的配置数据存储的主键值，默认就是副本集的名字
      "version" : 1,
      "protocolVersion" : NumberLong(1),
      "writeConcernMajorityJournalDefault" : true,
      #副本集成员数组，此时只有一个： "host" : "180.76.159.126:27017"，
      #该成员不是仲裁节点： "arbiterOnly" : false ，优先级（权重值）："priority" : 1,
      "members" : [
      {
        "_id" : 0,
        "host" : "180.76.159.126:27017",
        "arbiterOnly" : false,
        "buildIndexes" : true,
        "hidden" : false,
        "priority" : 1,
        "tags" : {
        },
        "slaveDelay" : NumberLong(0),
        "votes" : 1
      }
      ],
      #副本集的参数配置
      "settings" : {
        "chainingAllowed" : true,
        "heartbeatIntervalMillis" : 2000,
        "heartbeatTimeoutSecs" : 10,
        "electionTimeoutMillis" : 10000,
        "catchUpTimeoutMillis" : -1,
        "catchUpTakeoverDelayMillis" : 30000,
        "getLastErrorModes" : {
        },
        "getLastErrorDefaults" : {
          "w" : 1,
          "wtimeout" : 0
        },
        "replicaSetId" : ObjectId("5d539bdcd6a308e600d126bb")
      }
    }

提示：副本集配置的查看命令，本质是查询的是 system.replset 的表中的数据：

myrs:PRIMARY> use local
switched to db local
myrs:PRIMARY> show collections
oplog.rs
replset.election
replset.minvalid
replset.oplogTruncateAfterPoint
startup_log
system.replset
system.rollback.id
myrs:PRIMARY> db.system.replset.find()

（6）第六步：查看副本集状态

语法：rs.status()

  myrs:PRIMARY> rs.status()
    {
      "set" : "myrs", #副本集的名字
      "date" : ISODate("2019-08-14T05:29:45.161Z"),
      "myState" : 1,  #说明状态正常
      "term" : NumberLong(1),
      "syncingTo" : "",
      "syncSourceHost" : "",
      "syncSourceId" : -1,
      "heartbeatIntervalMillis" : NumberLong(2000),
      "optimes" : {
        "lastCommittedOpTime" : {
          "ts" : Timestamp(1565760578, 1),
          "t" : NumberLong(1)
        },
        "readConcernMajorityOpTime": {
          "ts": Timestamp(1565760578, 1),
          "t": NumberLong(1)
        },
        "appliedOpTime": {
          "ts": Timestamp(1565760578, 1),
          "t": NumberLong(1)
        },
        "durableOpTime": {
          "ts": Timestamp(1565760578, 1),
          "t": NumberLong(1)
        }
      },
      "lastStableCheckpointTimestamp": Timestamp(1565760528, 1),
      #副本集成员数组，此时只有一个： "name" : "180.76.159.126:27017" ，该成员的
      #角色是 "stateStr" : "PRIMARY", 该节点是健康的： "health" : 1 。
      "members": [
      {
        "_id": 0,
        "name": "180.76.159.126:27017",
        "health": 1,
        "state": 1,
        "stateStr": "PRIMARY",
        "uptime": 419,
        "optime": {
          "ts": Timestamp(1565760578, 1),
          "t": NumberLong(1)
        },
        "optimeDate": ISODate("2019-08-14T05:29:38Z"),
        "syncingTo": "",
        "syncSourceHost": "",
        "syncSourceId": -1,
        "infoMessage": "could not find member to sync from",
        "electionTime": Timestamp(1565760476, 2),
        "electionDate": ISODate("2019-08-14T05:27:56Z"),
        "configVersion": 1,
        "self": true,
        "lastHeartbeatMessage": ""
      }
      ],
      "ok": 1,
      "operationTime": Timestamp(1565760578, 1),
      "$clusterTime": {
        "clusterTime": Timestamp(1565760578, 1),
        "signature": {
          "hash": BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
          "keyId": NumberLong(0)
        }
      }
    }

（7）第七步：添加副本从节点

在主节点添加从节点，将其他成员加入到副本集

语法：rs.add(host, arbiterOnly)，

host：要添加到副本集的新成员。指定为字符串或配置文档；

arbiterOnly：可选，仅在值为字符串时适用。如果为true，则添加的主机是仲裁者。

  myrs:PRIMARY> rs.add("180.76.159.126:27018")
    {
      "ok" : 1, #说明添加成功
      "operationTime" : Timestamp(1565761757, 1),
      "$clusterTime" : {
        "clusterTime" : Timestamp(1565761757, 1),
        "signature" : {
          "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
          "keyId" : NumberLong(0)
        }
      }
    }

查看副本集状态：rs.status()，就能在members里看到 "name" : "180.76.159.126:27018" 是第二个节点的名字，其角色是 "stateStr" : "SECONDARY"

（8）第八步：添加仲裁从节点

语法：rs.addArb(host)

  myrs:PRIMARY> rs.addArb("180.76.159.126:27019")
    {
      "ok" : 1, #说明添加成功
      "operationTime" : Timestamp(1565761959, 1),
      "$clusterTime" : {
        "clusterTime" : Timestamp(1565761959, 1),
        "signature" : {
          "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
          "keyId" : NumberLong(0)
        }
      }
    }

查看副本集状态：rs.status()，就能在members里看到 "name" : "180.76.159.126:27019" 是第二个节点的名字，其角色是"stateStr" : "ARBITER"

5、副本集的数据读写操作

（1）主节点27017，写入和读取数据

（2）从节点27018，为默认情况下，从节点是没有读写权限的，可以增加读的权限，但需要进行设置。

设置读操作权限：设置为奴隶节点，允许在从成员上运行读的操作

rs.slaveOk()
#或
rs.slaveOk(true)

现在就可实现了读写分离，让主插入数据，让从来读取数据。

取消作为奴隶节点的读权限：

rs.slaveOk(false)

（3）仲裁者节点，不存放任何业务数据的，可以登录查看 local（副本集配置信息）集合的数据

6、主节点的选举原则

MongoDB在副本集中，会自动进行主节点的选举，主节点选举的触发条件：

1）主节点故障

2）主节点网络不可达（默认心跳信息为10秒）

3）人工干预（rs.stepDown(600)）

选举规则是根据票数来决定谁获胜：

1）票数最高，且获得了“大多数”成员的投票支持的节点获胜。

“大多数”的定义为：假设复制集内投票成员数量为N，则大多数为 N/2 + 1。例如：3个投票成员，则大多数的值是2。当复制集内存活成员数量不足大多数时，整个复制集将无法选举出Primary，复制集将无法提供写服务，处于只读状态。

2）若票数相同，且都获得了“大多数”成员的投票支持的，数据新的节点获胜。数据的新旧是通过操作日志oplog来对比的。

可以通过设置优先级（priority）来设置额外票数。优先级即权重，取值为0-1000，相当于可额外增加 0-1000的票数，优先级的值越大，就越可能获得多数成员的投票（votes）数。指定较高的值可使成员更有资格成为主要成员，更低的值可使成员更不符合条件。默认情况下，主节点和副本节点的优先级各为1，相当于默认已经有一票，而仲裁节点优先级值是0，即不具备选举权

修改优先级

1）先将配置导入cfg变量

myrs:SECONDARY> cfg=rs.conf()

2）然后修改值（ID号默认从0开始）：

myrs:SECONDARY> cfg.members[1].priority=2

3）重新加载配置

myrs:SECONDARY> rs.reconfig(cfg)

7、故障测试

（1）副本节点故障测试

关闭27018副本节点，主节点和仲裁节点对27018的心跳失败。因为主节点还在，没有触发投票选举，主节点正常使用。

（2）主节点故障测试

关闭27017节点，从节点和仲裁节点对27017的心跳失败，当失败超过10秒，此时因为没有主节点了，会自动发起投票。

副本节点只有27018，27018成为主节点。具备读写功能。

再启动27017节点，发现27017变成了从节点，27018仍保持主节点。2017数据自动从27018同步。

（3）仲裁节点和主节点故障

先关掉仲裁节点27019，关掉现在的主节点27018

27017仍然是从节点，副本集中没有主节点了，导致此时，副本集是只读状态，无法写入。

没有触发选举，因为27017的票数，没有获得大多数，即没有大于等于2，它只有默认的一票（优先级是1）

如果要触发选举，随便加入一个成员即可：

如果只加入27019仲裁节点成员，则主节点一定是27017，因为没得选了，仲裁节点不参与选举，但参与投票。
如果只加入27018节点，会发起选举。因为27017和27018都是两票，则按照谁数据新，谁当主节点。

（4）仲裁节点和从节点故障

先关掉仲裁节点27019，关掉现在的副本节点27018

10秒后，27017主节点自动降级为副本节点。（服务降级）副本集不可写数据了，已经故障了。

8、SpringDataMongoDB连接副本集

副本集语法：

mongodb://host1,host2,host3/articledb?connect=replicaSet&slaveOk=true&replicaSet=副本集名字

slaveOk=true：开启副本节点读的功能，可实现读写分离。

connect=replicaSet：自动到副本集中选择读写的主机。如果slaveOK是打开的，则实现了读写分离

修改配置文件application.yml ：

spring:
  #数据源配置
  data:
    mongodb:
    # 主机地址
    # host: 180.76.159.126
    # 数据库
    # database: articledb
    # 默认端口是27017
    # port: 27017
    #也可以使用uri连接
    #uri: mongodb://192.168.40.134:27017/articledb
    # 副本集的连接字符串
    uri: mongodb://180.76.159.126:27017,180.76.159.126:27018,180.76.159.126:27019/articledb?connect=replicaSet&slaveOk=true&replicaSet=myrs

主机必须是副本集中所有的主机，包括主节点、副本节点、仲裁节点。写入操作应用在主服务器，并且分布查询到从服务器。

SpringDataMongoDB自动实现了读写分离：

写操作时，只打开主节点连接；读操作是，同时打开主节点和从节点连接，但使用从节点获取数据。

MongoDB客户端连接语法：

mongodb://[username:password@]host1[:port1][,host2[:port2],...[,hostN[:portN]]][/[database][?options]]

标准的连接格式包含了多个选项(options)，如下所示：

czq_lh

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
MongoDB——高级——集群和安全：副本集-Replica Sets（六）

1、简介MongoDB中的副本集（Replica Set）是一组维护相同数据集的mongod服务。副本集可提供冗余和高可用性，是所有生产部署的基础。也可以说，副本集类似于有自动故障恢复功能的主从集群。就是用多台机器进行同一数据的异步同步，从而使多台机器拥有同一数据的多个副本，并且当主库当掉时在不需要用户干预的情况下自动切换其他备份服务器做主库。而且还可以利用副本服务器做只读服务器，实现读写分离，提高负载。（1）冗余和数据可用性复制提供冗余并提高数据可用性。在不同数据库服务器上提供多个数据副本
复制链接

扫一扫