MongoDB的分片集群群-Sharded Cluster：概念、优点、操作、分片策略、故障转移

最新推荐文章于 2024-04-22 18:11:31 发布
最新推荐文章于 2024-04-22 18:11:31 发布
阅读量1k 收藏 1
点赞数
文章标签： mongodb 服务器 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_56219549/article/details/122208915
版权

一、分片概念

分片（sharding）是一种跨多台机器分布数据的方法， MongoDB使用分片来支持具有非常大的数据集和高吞吐量操作的部署。
换句话说：分片(sharding)是指将数据拆分，将其分散存在不同的机器上的过程。有时也用分区(partitioning)来表示这个概念。将数据分散到不同的机器上，不需要功能强大的大型计算机就可以储存更多的数据，处理更多的负载。
具有大型数据集或高吞吐量应用程序的数据库系统可以会挑战单个服务器的容量。例如，高查询率会耗尽服务器的CPU容量。工作集大小大于系统的RAM会强调磁盘驱动器的I / O容量。
有两种解决系统增长的方法：垂直扩展和水平扩展。

垂直扩展意味着增加单个服务器的容量，例如使用更强大的CPU，添加更多RAM或增加存储空间量。可用技术的局限性可能会限制单个机器对于给定工作负载而言足够强大。此外，基于云的提供商基于可用的硬件配置具有硬性上限。结果，垂直缩放有实际的最大值。
水平扩展意味着划分系统数据集并加载多个服务器，添加其他服务器以根据需要增加容量。虽然单个机器的总体速度或容量可能不高，但每台机器处理整个工作负载的子集，可能提供比单个高速大容量服务器更高的效率。扩展部署容量只需要根据需要添加额外的服务器，这可能比单个机器的高端硬件的总体成本更低。权衡是基础架构和部署维护的复杂性增加。
MongoDB支持通过分片进行水平扩展。

二、分片集群包含的组件

MongoDB分片群集包含以下组件：

  • 分片（存储）：每个分片包含分片数据的子集。 每个分片都可以部署为副本集。
  • mongos（路由）：mongos充当查询路由器，在客户端应用程序和分片集群之间提供接口。
  • config servers（“调度”的配置）：配置服务器存储群集的元数据和配置设置。 从MongoDB 3.4开始，必须将配置服务器部署为副本集（CSRS）。
    下图描述了分片集群中组件的交互：
    在这里插入图片描述

MongoDB在集合级别对数据进行分片，将集合数据分布在集群中的分片上。
27018 if mongod is a shard member；
27019 if mongod is a config server member

三、分片集群架构目标

两个分片节点副本集（3+3）+一个配置节点副本集（3）+两个路由节点（2），共11个服务节点。
在这里插入图片描述

四、分片（存储）节点副本集的创建

所有的的配置文件都直接放到 sharded_cluster 的相应的子目录下面，默认配置文件名字：
mongod.conf

4.1 第一套副本集

清空多余的mongod服务
在这里插入图片描述
准备存放数据和日志的目录：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径
  path: "/mongodb/sharded_cluster/myshardrs01_27018/log/mongod.log"
  #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。
  dbPath: "/mongodb/sharded_cluster/myshardrs01_27018/data/db"
  journal:
  #启用或禁用持久性日志以确保数据文件保持有效和可恢复。
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/mongodb/sharded_cluster/myshardrs01_27018/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实例绑定的IP
  bindIp: localhost,172.22.4.227
  #bindIp
  #绑定的端口
  port: 27018
replication:
  #副本集的名称
  replSetName: myshardrs01
sharding:
  #分片角色
  clusterRole: shardsvr

sharding.clusterRole：

ValueDescription
configsvrStart this instance as a config server. The instance starts on port 27019 by default.
shardsvrStart this instance as a shard. The instance starts on port 27018 by default.

注意：
设置sharding.clusterRole需要mongod实例运行复制。 要将实例部署为副本集成员，请使用replSetName设置并指定副本集的名称。
新建或修改配置文件：

vim /mongodb/sharded_cluster/myshardrs01_27118/mongod.conf

myshardrs01_27118：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径
  path: "/mongodb/sharded_cluster/myshardrs01_27118/log/mongod.log"
  #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。
  dbPath: "/mongodb/sharded_cluster/myshardrs01_27118/data/db"
  journal:
  #启用或禁用持久性日志以确保数据文件保持有效和可恢复。
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/mongodb/sharded_cluster/myshardrs01_27118/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实例绑定的IP
  bindIp: localhost,172.22.4.227
  #bindIp
  #绑定的端口
  port: 27118
replication:
  #副本集的名称
  replSetName: myshardrs01
sharding:
  #分片角色
  clusterRole: shardsvr

新建或修改配置文件：

vim /mongodb/sharded_cluster/myshardrs01_27218/mongod.conf

myshardrs01_27218：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径
  path: "/mongodb/sharded_cluster/myshardrs01_27218/log/mongod.log"
  #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。
  dbPath: "/mongodb/sharded_cluster/myshardrs01_27218/data/db"
  journal:
  #启用或禁用持久性日志以确保数据文件保持有效和可恢复。
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/mongodb/sharded_cluster/myshardrs01_27218/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实例绑定的IP
  bindIp: localhost,172.22.4.227
  #bindIp
  #绑定的端口
  port: 27218
replication:
  #副本集的名称
  replSetName: myshardrs01
sharding:
  #分片角色
  clusterRole: shardsvr

启动第一套副本集：一主一副本一仲裁
依次启动三个mongod服务：

[root@liar ~]# /usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs01_27018/mongod.conf
about to fork child process, waiting until server is ready for connections.
forked process: 5777
child process started successfully, parent exiting
[root@liar ~]# /usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs01_27118/mongod.conf
about to fork child process, waiting until server is ready for connections.
forked process: 6003
child process started successfully, parent exiting
[root@liar ~]# /usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs01_27218/mongod.conf
about to fork child process, waiting until server is ready for connections.
forked process: 5917
child process started successfully, parent exiting

查看服务是否启动：
在这里插入图片描述

（1）初始化副本集和创建主节点：
使用客户端命令连接任意一个节点，但这里尽量要连接主节点：

/usr/local/mongodb/bin/mongo --host 120.79.157.129 --port 27018

执行初始化副本集命令：

>  rs.initiate()
{
	"info2" : "no configuration specified. Using a default configuration for the set",
	"me" : "172.22.4.227:27018",
	"ok" : 1
}

查看副本集情况(节选内容)：

myshardrs01:SECONDARY> rs.status()
{
	"set" : "myshardrs01",
......
}

（2）这里他已经变为主节点了，配置查看：

myshardrs01:PRIMARY> rs.conf()
{
	"_id" : "myshardrs01",
	"version" : 1,
	"protocolVersion" : NumberLong(1),
	"writeConcernMajorityJournalDefault" : true,
	"members" : [
		{
			"_id" : 0,
			"host" : "172.22.4.227:27018",
			"arbiterOnly" : false,
			"buildIndexes" : true,
			"hidden" : false,
			"priority" : 1,
			"tags" : {
				
			},
			"slaveDelay" : NumberLong(0),
			"votes" : 1
		}
	],
	"settings" : {
		"chainingAllowed" : true,
		"heartbeatIntervalMillis" : 2000,
		"heartbeatTimeoutSecs" : 10,
		"electionTimeoutMillis" : 10000,
		"catchUpTimeoutMillis" : -1,
		"catchUpTakeoverDelayMillis" : 30000,
		"getLastErrorModes" : {
			
		},
		"getLastErrorDefaults" : {
			"w" : 1,
			"wtimeout" : 0
		},
		"replicaSetId" : ObjectId("61cc0d5c0927e7e12506f311")
	}
}

（3）添加副本节点：

myshardrs01:PRIMARY> rs.add("120.79.157.129:27118")
{
	"ok" : 1,
	"$clusterTime" : {
		"clusterTime" : Timestamp(1640763067, 1),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	},
	"operationTime" : Timestamp(1640763067, 1)
}

（4）添加仲裁节点：

myshardrs01:PRIMARY> rs.addArb("120.79.157.129:27218")
{
	"ok" : 1,
	"$clusterTime" : {
		"clusterTime" : Timestamp(1640763093, 1),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	},
	"operationTime" : Timestamp(1640763093, 1)
}

查看副本集的配置情况：

myshardrs01:PRIMARY> rs.conf()

在这里插入图片描述

4.2 第二套副本集

准备存放数据和日志的目录：

#-----------myshardrs02
mkdir -p /mongodb/sharded_cluster/myshardrs02_27318/log \ &
mkdir -p /mongodb/sharded_cluster/myshardrs02_27318/data/db \ &
mkdir -p /mongodb/sharded_cluster/myshardrs02_27418/log \ &
mkdir -p /mongodb/sharded_cluster/myshardrs02_27418/data/db \ &
mkdir -p /mongodb/sharded_cluster/myshardrs02_27518/log \ &
mkdir -p /mongodb/sharded_cluster/myshardrs02_27518/data/db

新建或修改配置文件

vim /mongodb/sharded_cluster/myshardrs02_27318/mongod.conf

myshardrs02_27318：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径
  path: "/mongodb/sharded_cluster/myshardrs02_27318/log/mongod.log"
  #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。
  dbPath: "/mongodb/sharded_cluster/myshardrs02_27318/data/db"
  journal:
  #启用或禁用持久性日志以确保数据文件保持有效和可恢复。
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/mongodb/sharded_cluster/myshardrs02_27318/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实例绑定的IP
  bindIp: localhost,172.22.4.227
  #bindIp
  #绑定的端口
  port: 27318
replication:
  #副本集的名称
  replSetName: myshardrs02
sharding:
  #分片角色
  clusterRole: shardsvr

新建或修改配置文件：

vim /mongodb/sharded_cluster/myshardrs02_27418/mongod.conf

myshardrs02_27418：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径
  path: "/mongodb/sharded_cluster/myshardrs02_27418/log/mongod.log"
  #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。
  dbPath: "/mongodb/sharded_cluster/myshardrs02_27418/data/db"
  journal:
  #启用或禁用持久性日志以确保数据文件保持有效和可恢复。
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/mongodb/sharded_cluster/myshardrs02_27418/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实例绑定的IP
  bindIp: localhost,172.22.4.227
  #bindIp
  #绑定的端口
  port: 27418
replication:
  #副本集的名称
  replSetName: myshardrs02
sharding:
  #分片角色
  clusterRole: shardsvr

新建或修改配置文件：

vim /mongodb/sharded_cluster/myshardrs02_27518/mongod.conf

myshardrs02_27518：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径
  path: "/mongodb/sharded_cluster/myshardrs02_27518/log/mongod.log"
  #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。
  dbPath: "/mongodb/sharded_cluster/myshardrs02_27518/data/db"
  journal:
  #启用或禁用持久性日志以确保数据文件保持有效和可恢复。
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/mongodb/sharded_cluster/myshardrs02_27518/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实例绑定的IP
  bindIp: localhost,172.22.4.227
  #bindIp
  #绑定的端口
  port: 27518
replication:
  #副本集的名称
  replSetName: myshardrs02
sharding:
  #分片角色
  clusterRole: shardsvr

启动第二套副本集：一主一副本一仲裁
依次启动三个mongod服务：

[root@liar data]# /usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs02_27318/mongod.conf
about to fork child process, waiting until server is ready for connections.
forked process: 6097
child process started successfully, parent exiting
[root@liar data]# /usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs02_27418/mongod.conf
about to fork child process, waiting until server is ready for connections.
forked process: 6141
child process started successfully, parent exiting
[root@liar data]# /usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs02_27518/mongod.conf
about to fork child process, waiting until server is ready for connections.
forked process: 6185
child process started successfully, parent exiting

查看服务是否启动：

[root@bobohost bin]# ps -ef |grep mongod.conf

在这里插入图片描述
（1）初始化副本集和创建主节点：
使用客户端命令连接任意一个节点，但这里尽量要连接主节点：

/usr/local/mongodb/bin/mongo --host 120.79.157.129 --port 27318

执行初始化副本集命令：

> rs.initiate()

查看副本集情况(节选内容)：

myshardrs02:SECONDARY> rs.status()
{
	"set" : "myshardrs02",
......
}

（2）主节点配置查看

myshardrs02:PRIMARY> rs.conf()

在这里插入图片描述
（3）添加副本节点：

myshardrs02:PRIMARY> rs.add("120.79.157.129:27418")

（4）添加仲裁节点：

myshardrs02:PRIMARY> rs.addArb("120.79.157.129:27518")

查看副本集的配置情况：

myshardrs02:PRIMARY> rs.conf()

在这里插入图片描述

myshardrs02:PRIMARY> rs.status()

在这里插入图片描述

五、配置节点副本集的创建

第一步：准备存放数据和日志的目录：

#-----------configrs
#建立数据节点data和日志目录
mkdir -p /mongodb/sharded_cluster/myconfigrs_27019/log \ &
mkdir -p /mongodb/sharded_cluster/myconfigrs_27019/data/db \ &
mkdir -p /mongodb/sharded_cluster/myconfigrs_27119/log \ &
mkdir -p /mongodb/sharded_cluster/myconfigrs_27119/data/db \ &
mkdir -p /mongodb/sharded_cluster/myconfigrs_27219/log \ &
mkdir -p /mongodb/sharded_cluster/myconfigrs_27219/data/db

新建或修改配置文件：

vim /mongodb/sharded_cluster/myconfigrs_27019/mongod.conf

myconfigrs_27019：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径
  path: "/mongodb/sharded_cluster/myconfigrs_27019/log/mongod.log"
  #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。
  dbPath: "/mongodb/sharded_cluster/myconfigrs_27019/data/db"
  journal:
  #启用或禁用持久性日志以确保数据文件保持有效和可恢复。
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/mongodb/sharded_cluster/myconfigrs_27019/log/mongod.pid"
net:
  #服务实例绑定所有IP
  #bindIpAll: true
  #服务实例绑定的IP
  bindIp: localhost,172.22.4.227
  #绑定的端口
  port: 27019
replication:
  replSetName: myconfigrs
sharding:
  clusterRole: configsvr

新建或修改配置文件

vim /mongodb/sharded_cluster/myconfigrs_27119/mongod.conf

myconfigrs_27119

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径
  path: "/mongodb/sharded_cluster/myconfigrs_27119/log/mongod.log"
  #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。
  dbPath: "/mongodb/sharded_cluster/myconfigrs_27119/data/db"
  journal:
  #启用或禁用持久性日志以确保数据文件保持有效和可恢复。
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/mongodb/sharded_cluster/myconfigrs_27119/log/mongod.pid"
net:
  #服务实例绑定所有IP
  #bindIpAll: true
  #服务实例绑定的IP
  bindIp: localhost,172.22.4.227
  #绑定的端口
  port: 27119
replication:
  replSetName: myconfigrs
sharding:
  clusterRole: configsvr

新建或修改配置文件：

vim /mongodb/sharded_cluster/myconfigrs_27219/mongod.conf

myconfigrs_27219

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径
  path: "/mongodb/sharded_cluster/myconfigrs_27219/log/mongod.log"
  #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。
  dbPath: "/mongodb/sharded_cluster/myconfigrs_27219/data/db"
  journal:
  #启用或禁用持久性日志以确保数据文件保持有效和可恢复。
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/mongodb/sharded_cluster/myconfigrs_27219/log/mongod.pid"
net:
  #服务实例绑定所有IP
  #bindIpAll: true
  #服务实例绑定的IP
  bindIp: localhost,172.22.4.227
  #绑定的端口
  port: 27219
replication:
  replSetName: myconfigrs
sharding:
  clusterRole: configsvr

启动配置副本集：一主两副本
依次启动三个mongod服务：

[root@liar data]# /usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myconfigrs_27019/mongod.conf
about to fork child process, waiting until server is ready for connections.
forked process: 6343
child process started successfully, parent exiting
[root@liar data]# /usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myconfigrs_27119/mongod.conf
about to fork child process, waiting until server is ready for connections.
forked process: 6396
child process started successfully, parent exiting
[root@liar data]# /usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myconfigrs_27219/mongod.conf
about to fork child process, waiting until server is ready for connections.
forked process: 6450
child process started successfully, parent exiting

查看服务是否启动：

[root@liar data]# ps -ef |grep mongod.conf

在这里插入图片描述
（1）初始化副本集和创建主节点：
使用客户端命令连接任意一个节点，但这里尽量要连接主节点：

/usr/local/mongodb/bin/mongo --host 120.79.157.129 --port 27019

执行初始化副本集命令：

> rs.initiate()

查看副本集情况(节选内容)：

myconfigrs:SECONDARY> rs.status()
{
	"set" : "myconfigrs",
......
}

（2）主节点配置查看：

myconfigrs:PRIMARY> rs.conf()

在这里插入图片描述
（3）添加两个副本节点：

myconfigrs:PRIMARY>  rs.add("120.79.157.129:27219")
myconfigrs:PRIMARY>  rs.add("120.79.157.129:27219")

查看副本集的配置情况：

myconfigrs:PRIMARY> rs.conf()

在这里插入图片描述

myconfigrs:PRIMARY> rs.status()

在这里插入图片描述

六、路由节点的创建和操作

6.1 第一个路由节点的创建和连接

第一步：准备存放数据和日志的目录

#-----------mongos01
mkdir -p /mongodb/sharded_cluster/mymongos_27017/log

mymongos_27017节点：
新建或修改配置文件：

vi /mongodb/sharded_cluster/mymongos_27017/mongos.conf

mongos.conf

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径
  path: "/mongodb/sharded_cluster/mymongos_27017/log/mongod.log"
  #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: /mongodb/sharded_cluster/mymongos_27017/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实例绑定的IP
  bindIp: localhost,172.22.4.227
  #bindIp
  #绑定的端口
  port: 27017
sharding:
  #指定配置节点副本集
  configDB: myconfigrs/120.79.157.129:27019,120.79.157.129:27119,120.79.157.129:27219

启动mongos：

[root@liar data]# /usr/local/mongodb/bin/mongos -f /mongodb/sharded_cluster/mymongos_27017/mongos.conf
about to fork child process, waiting until server is ready for connections.
forked process: 6636
child process started successfully, parent exiting

提示：启动如果失败，可以查看log目录下的日志，查看失败原因。
客户端登录mongos，

/usr/local/mongodb/bin/mongo --host 120.79.157.129 --port 27017

此时，写不进去数据，如果写数据会报错：
在这里插入图片描述
原因：
通过路由节点操作，现在只是连接了配置节点，还没有连接分片数据节点，因此无法写入业务数据。
properties配置文件参考：

logpath=/mongodb/sharded_cluster/mymongos_27017/log/mongos.log
logappend=true
bind_ip_all=true
port=27017
fork=true
configdb=myconfigrs/120.79.157.129:27019,120.79.157.129:27119,120.79.157.129:272
19

6.2 在路由节点上进行分片配置操作

使用命令添加分片：
（1）添加分片：
语法：

sh.addShard("IP:Port")

将第一套分片副本集添加进来：

mongos> sh.addShard("myshardrs01/172.22.4.227:27018,120.79.157.129:27118,120.79.157.129:27218")
{
	"shardAdded" : "myshardrs01",
	"ok" : 1,
	"operationTime" : Timestamp(1640766080, 6),
	"$clusterTime" : {
		"clusterTime" : Timestamp(1640766080, 6),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	}
}

查看分片状态情况：

mongos>  sh.status()
--- Sharding Status --- 
  sharding version: {
  	"_id" : 1,
  	"minCompatibleVersion" : 5,
  	"currentVersion" : 6,
  	"clusterId" : ObjectId("61cc16a20c59981599fb6b25")
  }
  shards:
        {  "_id" : "myshardrs01",  "host" : "myshardrs01/120.79.157.129:27118,172.22.4.227:27018",  "state" : 1 }
  active mongoses:
        "4.4.11-rc1" : 1
  autosplit:
        Currently enabled: yes
  balancer:
        Currently enabled:  yes
        Currently running:  no
        Failed balancer rounds in last 5 attempts:  0
        Migration Results for the last 24 hours: 
                No recent migrations
  databases:
        {  "_id" : "config",  "primary" : "config",  "partitioned" : true }

继续将第二套分片副本集添加进来：

mongos> sh.addShard("myshardrs02/172.22.4.227:27318,120.79.157.129:27418,120.79.157.129:27518")
{
	"shardAdded" : "myshardrs02",
	"ok" : 1,
	"operationTime" : Timestamp(1640766236, 2),
	"$clusterTime" : {
		"clusterTime" : Timestamp(1640766236, 2),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	}
}

查看分片状态：

mongos> sh.status()

在这里插入图片描述
提示：如果添加分片失败，需要先手动移除分片，检查添加分片的信息的正确性后，再次添加分片。
移除分片参考(了解)：

use admin
db.runCommand( { removeShard: "myshardrs02" } )

注意：

  • 如果只剩下最后一个shard，是无法删除的
  • 移除时会自动转移分片数据，需要一个时间过程。
  • 完成后，再次执行删除分片命令才能真正删除。

（2）开启分片功能：sh.enableSharding(“库名”)、sh.shardCollection(“库名.集合名”,{“key”:1})
在mongos上的articledb数据库配置sharding

mongos> sh.enableSharding("articledb")
{
	"ok" : 1,
	"operationTime" : Timestamp(1640766484, 30),
	"$clusterTime" : {
		"clusterTime" : Timestamp(1640766484, 30),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	}
}

查看分片状态：

mongos> sh.status()
--- Sharding Status --- 
  sharding version: {
  	"_id" : 1,
  	"minCompatibleVersion" : 5,
  	"currentVersion" : 6,
  	"clusterId" : ObjectId("61cc16a20c59981599fb6b25")
  }
  shards:
        {  "_id" : "myshardrs01",  "host" : "myshardrs01/120.79.157.129:27118,172.22.4.227:27018",  "state" : 1 }
        {  "_id" : "myshardrs02",  "host" : "myshardrs02/120.79.157.129:27418,172.22.4.227:27318",  "state" : 1 }
  active mongoses:
        "4.4.11-rc1" : 1
  autosplit:
        Currently enabled: yes
  balancer:
        Currently enabled:  yes
        Currently running:  no
        Failed balancer rounds in last 5 attempts:  0
        Migration Results for the last 24 hours: 
                209 : Success
  databases:
        {  "_id" : "articledb",  "primary" : "myshardrs02",  "partitioned" : true,  "version" : {  "uuid" : UUID("d8768758-690b-4cd9-a406-b5f7db18857c"),  "lastMod" : 1 } }
        {  "_id" : "config",  "primary" : "config",  "partitioned" : true }
                config.system.sessions
                        shard key: { "_id" : 1 }
                        unique: false
                        balancing: true
                        chunks:
                                myshardrs01	815
                                myshardrs02	209
                        too many chunks to print, use verbose if you want to force print

（3）集合分片
对集合分片，你必须使用 sh.shardCollection() 方法指定集合和分片键。
语法：

sh.shardCollection(namespace, key, unique)

参数：

ParameterTypeDescription
namespacestring要（分片）共享的目标集合的命名空间，格式： .
keydocument用作分片键的索引规范文档。shard键决定MongoDB如何在shard之间分发文档。除非集合为空，否则索引必须在shardcollection命令之前存在。如果集合为空，则MongoDB在对集合进行分片之前创建索引，前提是支持分片键的索引不存在。简单的说：由包含字段和该字段的索引遍历方向的文档组成。
uniqueboolean当值为true情况下，片键字段上会限制为确保是唯一索引。哈希策略片键不支持唯一索引。默认是false。

对集合进行分片时,你需要选择一个 片键（Shard Key） , shard key 是每条记录都必须包含的,且建立了索引的单个字段或复合字段,MongoDB按照片键将数据划分到不同的数据块中,并将 数据块 均衡地分布到所有分片中.为了按照片键划分数据块,MongoDB使用 基于哈希的分片方式（随机平均分配）或者基于范围的分片方式（数值大小分配） 。用什么字段当片键都可以，如：nickname作为片键，但一定是必填字段。
分片规则一：哈希策略
对于 基于哈希的分片 ,MongoDB计算一个字段的哈希值,并用这个哈希值来创建数据块.在使用基于哈希分片的系统中,拥有”相近”片键的文档 很可能不会 存储在同一个数据块中,因此数据的分离性更好一些.使用nickname作为片键，根据其值的哈希值进行数据分片

mongos> sh.shardCollection("articledb.comment",{"nickname":"hashed"})
{
	"collectionsharded" : "articledb.comment",
	"collectionUUID" : UUID("1bb2b33c-b1b5-4946-a39e-fede4dd54dee"),
	"ok" : 1,
	"operationTime" : Timestamp(1640766703, 26),
	"$clusterTime" : {
		"clusterTime" : Timestamp(1640766703, 26),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	}
}

查看分片状态：sh.status()
在这里插入图片描述
分片规则二：范围策略
对于 基于范围的分片 ,MongoDB按照片键的范围把数据分成不同部分.假设有一个数字的片键:想象一个从负无穷到正无穷的直线,每一个片键的值都在直线上画了一点.MongoDB把这条直线划分为更短的不重叠的片段,并称之为 数据块 ,每个数据块包含了片键在一定范围内的数据.在使用片键做范围划分的系统中,拥有”相近”片键的文档很可能存储在同一个数据块中,因此也会存储在同一个分片中.
如使用作者年龄字段作为片键，按照点赞数的值进行分片：

mongos>  sh.shardCollection("articledb.author",{"age":1})
{
	"collectionsharded" : "articledb.author",
	"collectionUUID" : UUID("33a9dcc0-c04d-434a-b37e-d419ba2fa8cf"),
	"ok" : 1,
	"operationTime" : Timestamp(1640766852, 8),
	"$clusterTime" : {
		"clusterTime" : Timestamp(1640766852, 8),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	}
}

注意的是：
1）一个集合只能指定一个片键，否则报错。
2）一旦对一个集合分片，分片键和分片值就不可改变。 如：不能给集合选择不同的分片键、不能更新分片键的值。
3）根据age索引进行分配数据。
查看分片状态：
在这里插入图片描述
基于范围的分片方式与基于哈希的分片方式性能对比：
基于范围的分片方式提供了更高效的范围查询,给定一个片键的范围,分发路由可以很简单地确定哪个数据块存储了请求需要的数据,并将请求转发到相应的分片中.不过,基于范围的分片会导致数据在不同分片上的不均衡,有时候,带来的消极作用会大于查询性能的积极作用.比如,如果片键所在的字段是线性增长的,一定时间内的所有请求都会落到某个固定的数据块中,最终导致分布在同一个分片中.在这种情况下,一小部分分片承载了集群大部分的数据,系统并不能很好地进行扩展.
与此相比,基于哈希的分片方式以范围查询性能的损失为代价,保证了集群中数据的均衡.哈希值的随机性使数据随机分布在每个数据块中,因此也随机分布在不同分片中.但是也正由于随机性,一个范围查询很难确定应该请求哪些分片,通常为了返回需要的结果,需要请求所有分片.
如无特殊情况，一般推荐使用 Hash Sharding。
而使用 _id 作为片键是一个不错的选择，因为它是必有的，你可以使用数据文档 _id 的哈希作为片键。
这个方案能够是的读和写都能够平均分布，并且它能够保证每个文档都有不同的片键所以数据块能够很精细。
似乎还是不够完美，因为这样的话对多个文档的查询必将命中所有的分片。虽说如此，这也是一种比较好的方案了。
理想化的 shard key 可以让 documents 均匀地在集群中分布：
在这里插入图片描述
显示集群的详细信息：

mongos> db.printShardingStatus()

查看均衡器是否工作（需要重新均衡时系统才会自动启动，不用管它）：

mongos> sh.isBalancerRunning()
false

查看当前Balancer状态：

mongos> sh.getBalancerState()
true

6.3 分片后插入数据测试

测试一（哈希规则）：登录mongs后，向comment循环插入1000条数据做测试：

mongos> use articledb
switched to db articledb
mongos> db
articledb
mongos> for(var i=1;i<=1000;i++){db.comment.insert({_id:i+"",nickname:"BoBo"+i})}
WriteResult({ "nInserted" : 1 })

提示：支持js的语法，因为mongo的shell是一个JavaScript的shell。
注意：从路由上插入的数据，必须包含片键，否则无法插入。
分别登陆两个片的主节点，统计文档数量
第一个分片副本集
在这里插入图片描述
第二个分片副本集
在这里插入图片描述
可以看到，1000条数据近似均匀的分布到了2个shard上。是根据片键的哈希值分配的。
这种分配方式非常易于水平扩展：一旦数据存储需要更大空间，可以直接再增加分片即可，同时提升了性能。
使用db.comment.stats()查看单个集合的完整情况，mongos执行该命令可以查看该集合的数据分片的情况。
使用sh.status()查看本库内所有集合的分片信息。

测试二（范围规则）：登录mongs后，向author循环插入20000条数据做测试：

mongos> for(var i=1;i<=20000;i++){db.author.save({"name":"BoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBo"+i,"age":NumberInt(i%120)})}
WriteResult({ "nInserted" : 1 })
mongos> db.author.count();
20000

插入成功后，仍然要分别查看两个分片副本集的数据情况。
分片效果：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
提示：
如果查看状态发现没有分片，则可能是由于以下原因造成了：
1）系统繁忙，正在分片中。
2）数据块（chunk）没有填满，默认的数据块尺寸（chunksize）是64M，填满后才会考虑向其他片的数据块填充数据，因此，为了测试，可以将其改小，这里改为1M，操作如下：

mongos> use config
switched to db config
mongos> db.settings.save( { _id:"chunksize", value: 1 } )
WriteResult({ "nMatched" : 0, "nUpserted" : 1, "nModified" : 0, "_id" : "chunksize" })

切回articledb库再插入20000条数据

mongos> use articledb
switched to db articledb
mongos> for(var i=1;i<=20000;i++){db.author.save({"name":"BoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBo"+i,"age":NumberInt(i%120)})}
WriteResult({ "nInserted" : 1 })

测试结果
在这里插入图片描述
在这里插入图片描述
测试完改回来：

mongos> db.settings.save( { _id:"chunksize", value: 64 } )
WriteResult({ "nMatched" : 0, "nUpserted" : 1, "nModified" : 0, "_id" : "chunksize" })

注意：要先改小，再设置分片。为了测试，可以先删除集合，重新建立集合的分片策略，再插入数据测试即可。

6.4 再增加一个路由节点

文件夹

#-----------mongos02
mkdir -p /mongodb/sharded_cluster/mymongos_27117/log

新建或修改配置文件

vi /mongodb/sharded_cluster/mymongos_27117/mongos.conf

mongos.conf

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径
  path: "/mongodb/sharded_cluster/mymongos_27117/log/mongod.log"
  #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: /mongodb/sharded_cluster/mymongos_27117/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实例绑定的IP
  bindIp: localhost,172.22.4.227
  #bindIp
  #绑定的端口
  port: 27117
sharding:
  configDB:myconfigrs/120.79.157.129:27019,120.79.157.129:27119,120.79.157.129:27219

启动mongos2：

[root@liar data]# /usr/local/mongodb/bin/mongos -f /mongodb/sharded_cluster/mymongos_27117/mongos.conf

使用mongo客户端登录27117，发现，第二个路由无需配置，因为分片配置都保存到了配置服务器中了。

七、Compass连接分片集群

在这里插入图片描述
提示：和连接单机mongod一样。
连接成功后，上方有mongos和分片集群的提示：
在这里插入图片描述

八、SpringDataMongDB连接分片集群

Java客户端常用的是SpringDataMongoDB，其连接的是mongs路由，配置和单机mongod的配置是一样的。
多个路由的时候的SpringDataMongoDB的客户端配置参考如下：

spring:
  #数据源配置
    data:
      mongodb:
        # 主机地址
        # host: 120.79.157.129
        # 数据库
        # database: articledb
        # 默认端口是27017
        # port: 27017
        #也可以使用uri连接
        # uri: mongodb://192.168.40.134:28017/articledb
        # 连接副本集字符串
        # uri:mongodb://120.79.157.129:27017,120.79.157.129:27018,120.79.157.129:27019/articledb?connect=replicaSet&slaveOk=true&replicaSet=myrs
        #连接路由字符串
        uri: mongodb://120.79.157.129:27017,120.79.157.129:27117/articledb

在这里插入图片描述
通过日志发现，写入数据的时候，会选择一个路由写入：
在这里插入图片描述

九、清除所有的节点数据（备用）

如果在搭建分片的时候有操作失败或配置有问题，需要重新来过的，可以进行如下操作：
第一步：查询出所有的测试服务节点的进程：
在这里插入图片描述
根据上述的进程编号，依次中断进程：

kill -2 进程编号

第二步：清除所有的节点的数据：

rm -rf /mongodb/sharded_cluster/myconfigrs_27019/data/db/*.* \ &
rm -rf /mongodb/sharded_cluster/myconfigrs_27119/data/db/*.* \ &
rm -rf /mongodb/sharded_cluster/myconfigrs_27219/data/db/*.* \ &
rm -rf /mongodb/sharded_cluster/myshardrs01_27018/data/db/*.* \ &
rm -rf /mongodb/sharded_cluster/myshardrs01_27118/data/db/*.* \ &
rm -rf /mongodb/sharded_cluster/myshardrs01_27218/data/db/*.* \ &
rm -rf /mongodb/sharded_cluster/myshardrs02_27318/data/db/*.* \ &
rm -rf /mongodb/sharded_cluster/myshardrs02_27418/data/db/*.* \ &
rm -rf /mongodb/sharded_cluster/myshardrs02_27518/data/db/*.* \ &
rm -rf /mongodb/sharded_cluster/mymongos_27017/data/db/*.* \ &
rm -rf /mongodb/sharded_cluster/mymongos_27117/data/db/*.*

第三步：查看或修改有问题的配置

第四步：依次启动所有节点，不包括路由节点：

/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs01_27018/mongod.conf
/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs01_27118/mongod.conf
/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs01_27218/mongod.conf
/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs02_27318/mongod.conf
/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs02_27418/mongod.conf
/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs02_27518/mongod.conf
/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myconfigrs_27019/mongod.conf
/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myconfigrs_27119/mongod.conf
/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myconfigrs_27219/mongod.conf

第五步：对两个数据分片副本集和一个配置副本集进行初始化和相关配置

第六步：检查路由mongos的配置，并启动mongos

/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/mymongos_27017/mongos.cfg
/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/mymongos_27017/mongos.cfg

第七步：mongo登录mongos，在其上进行相关操作。

jsxllht
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
mongodb-sharded-cluster:MongoDB分片集群部署案例及配置
07-17
MongoDB集群部署 创建组和用户 groupadd -g 996 mongod useradd -u 996 -s /bin/false -g mongod mongod 设置操作系统的环境 echo "never">"/sys/kernel/mm/transparent_hugepage/enabled" echo "never">"/sys/kernel/mm/transparent_hugepage/defrag" ulimit -n 64000 1.启动复制集中mongod实例，运行: start_rs0_0.bat -> 4000 (PRIMARY) start_rs0_1.bat -> 4001 (SECONDARY) start_rs0_2.bat -> 4002 (ARBITER) start_rs1_0.bat -> 4003 (PRIMARY
mongodb-cluster-docker-compose：演示一个简单的分片的Mongo集群，并使用docker compose复制
02-04
带有Docker Compose的演示Mongo分片集群 PSS样式（小学-中学-中学） 需要PSA吗？ 检查 警告（Windows和OS X） Windows和OS X上的默认Docker设置使用VirtualBox VM托管Docker守护程序。 不幸的是，VirtualBox用于在...
MongoDb分片集群
qq_29860591的博客
10-21 354
分片集群-Sharded Cluster 分片概念 分片(sharding)是一种跨多台机器分布数据的方法， MongoDB使用分片来支持具有非常大的数据集和高吞吐量操作的部署。 换句话说：分片(sharding)是指将数据拆分，将其分散存在不同的机器上的过程。有时也用分区(partitioning)来表示这个概念。将数据分散到不同的机器上，不需要功能强大的大型计算机就可以储存更多的数据...
MongoDB 分片集群
最新发布
Dongguazhuzhuzhu的博客
04-22 1884
mongos， 提供集群单一入口，转发应用端请求，选择合适的数据节点进行读写，合并多个数据节点的返回。客户请求应发给mongos，而不是 分片服务器，当查询包含分片片键时，mongos将查询发送到指定分片，否则，mongos将查询发送到所有分片，并汇总所有查询结果。当数据段尺寸过大，或者包含过多文档时，触发数据段分裂,只有新增、更新文档时才可能自动触发数据段分裂,数据段分裂通过更新元数据来实现。1. MongoDB的分片时基于集合的，就算有分片集群不等于数据会自动分片，需要显示分片表。
MongoDB Sharded cluster架构原理
weixin_33805743的博客
04-21 271
为什么需要Sharded cluster？ MongoDB目前3大核心优势：『灵活模式』+ 『高可用性』 + 『可扩展性』，通过json文档来实现灵活模式，通过复制集来保证高可用，通过Sharded cluster来保证可扩展性。 当MongoDB复制集遇到下面的业务场景时，你就需要考虑使用Sharded cluster 存储容量需求超出单机磁盘容量 ...
MongoDB集群之分片集群 Shard Cluster
凉茶铺的博客
09-15 1581
介绍了MongoDB的分片集群，以及其搭建方法。
centos7下mongodb4.0.6分片集群搭建-单体升级成绩群方案.pdf
09-04
公司单节点升级到分片下，搜索了一圈大多数 MongoDB 集群的部署方案都是分片+副本集，没有讲述如何从单节点升级到分片+复制集的方法，亲自试验后记录整个过程以及中间的参考内容和疑难解 决，以备后查。内容包含复制...
kubernetes-mongodb-shard:在kubernetes上部署mongodb分片集群
05-08
在kubernetes上部署mongodb分片集群。 这适用于最少具有3个节点的小型集群和具有100多个节点的大型集群。 先决条件 具有至少3个可调度节点的Kubernetes集群。 Kubernetes v1.2.3或更高版本 特征 分片，副本，配置...
MongoDB企业级分片集群搭建-视频教程网盘链接提取码下载 .txt
06-05
MongoDB分片集群技术用于解决海量数据的存储问题；而MongoDB副本集是一组维护相同数据集的mongod服务。由此可以看出课程的内容将带领同学们进行MongoDB容灾备份方面的实战，通过MongoDB分片集群技术和MongoDB副本集...
mongodb-balance-check:检查您的 MongoDB 分片集群是否正确平衡
06-21
mongodb-平衡检查此脚本提供了一种简单的方法来确定您的 MongoDB 分片集群是否正确平衡。 您可以通过调用db.printShardingStatus()实现相同的效果，但它需要手动解析输出以查看所有集合的计数是否平衡，如果您有很多...
MongoDB分片集群部署详解
09-09
主要介绍了MongoDB分片集群部署详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
MongoDB的分片集群基本配置教程
09-10
需要注意的是，分片策略的选择（如分片键的选取）对数据分布和查询效率有很大影响，因此在设计时需要谨慎考虑。 总的来说，MongoDB的分片集群提供了一种灵活、高效的方式来处理大数据量的问题，通过合理的配置和...
MongoDB-in-Kubernetes:在K8s集群中部署的MongoDB Sharded集群
05-02
MongoDB-in-Kubernetes 在K8s集群中部署的MongoDB Sharded集群 用于Shard和Config服务器的Pod的部署： 此处，分片副本集存储实际数据或块（文档集合），而配置服务器副本集存储mongodb集群的元数据和配置信息。 ...
vagrant-mongodb-cluster：:package:使用带有副本集的MongoDB 3节点集群的流浪汉设置
02-06
vagrant-mongodb-cluster：:package:使用带有副本集的MongoDB 3节点集群的流浪汉设置
一汽丰田数据湖环境mongoDB分片集群测试
02-06
Mongodb版本：mongodb-linux-x86_64-rhel62-4.0.19.tar 3台虚拟机 192.168.213.17、192.168.213.18、192.168.213.19 192.168.213.17 slave1.yqft.com 192.168.213.18 slave2.yqft.com 192.168.213.19 slave3.yqft....
MongoDb分片集群-Sharded Cluster (6)
dis_1illusion的博客
08-09 541
MongoDB的 路由节点的创建和操作 ; 分片（存储）节点副本集的创建 ; 分片操作, 以及两种分片规则(哈希策略;范围策略)
MongoDB Sharded Cluster 路由策略
weixin_34375233的博客
07-31 140
本文是对MongoDB 世界大会上『Life of a Sharded Write』主题分享的总结，这个分享很有意思，主要内容是介绍 MongoDB Sharded Cluster 里写操作的路由策略，以及config server变为复制集后面临的一些挑战。 如果不了解 Sharded Cluster 的基础知识，可以先看看这篇文章再回来。 Mong...
mongodb跨集合查询_MongoDB数据模型设计
weixin_39950081的博客
11-21 216
MongoDBManual(Version 4.2)>Data Models > Data Modeling Concepts > Data Model Design有效的数据模型支持您的应用程序需求。文档结构的关键考虑因素是嵌入或使用引用的决定。本次我们将从以下两方面来了解MongoDB数据模型设计。嵌入式数据模型规范化数据模型嵌入式数据模型使用MongoDB，...
mongodb分片集群操作分析
06-12
MongoDB 分片集群操作是一项非常重要的任务，需要我们注意很多细节和注意事项。下面是一些常见的 MongoDB 分片集群操作分析： 1. 分片键的选择 在 MongoDB 分片集群中，选择合适的分片键是非常重要的。分片键应该能够保证数据的均匀分布，避免数据倾斜和热点问题。一般来说，选择具有高基数和随机性的字段作为分片键是比较好的选择，例如订单号、用户 ID 等。但是需要注意的是，如果分片键的取值范围过小，可能会导致数据倾斜问题。因此，需要对分片键进行合理的选择和设计。 2. 分片数据的均衡 在 MongoDB 分片集群中，数据的均衡分布是非常重要的。如果某个分片服务器上的数据过多，会导致该服务器的负载过高，影响整个集群的性能。因此，需要定期监控数据的分布情况，及时进行数据迁移和重分片操作，以保证分片数据的均衡。 3. 数据备份和恢复 在 MongoDB 分片集群中，数据备份和恢复是必不可少的操作。备份数据可以保证数据的安全性和可靠性，而恢复操作可以帮助我们在数据丢失或出现故障时快速恢复数据。需要注意的是，备份和恢复操作可能会影响集群的性能和可用性，因此需要在合适的时间进行操作，并且要确保备份数据的一致性和正确性。 4. 监控和优化 在 MongoDB 分片集群中，监控和优化是非常重要的。需要定期监控服务器的负载、磁盘空间、网络带宽等指标，及时发现和处理性能问题和故障。同时，需要根据监控数据进行合理的优化和调整，以提高集群的性能和可用性。 总之，MongoDB 分片集群操作需要我们注意很多细节和注意事项，需要认真对待并且不断总结和改进。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

jsxllht

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值