MongoDB分片集群搭建

最新推荐文章于 2024-10-08 12:28:38 发布
最新推荐文章于 2024-10-08 12:28:38 发布
阅读量1.3k 收藏 19
点赞数 22
分类专栏： Java MongoDB 文章标签： mongodb 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_62963408/article/details/138446763
版权
本文详细介绍了如何在MongoDB环境下搭建分片集群，包括配置副本集、config复制集、mongos节点，以及添加、管理分片和解决常见错误。
摘要由CSDN通过智能技术生成
MongoDB分片集群搭建

如果不清楚什么是分片集群，可以看我上一篇发布的文章MongoDB分片集群详解

在这里插入图片描述

环境信息

以下是我在测试环境中虚拟机的配置，如果你的虚拟机ip不同可以对应的更改，但是要确保这三台虚拟机之间可以ping通

#操作系统：centos6.8
mongodb版本：mongodb-linux-x86_64-rhe162-4.0.6.tgz
#3台虚拟机
192.168.57.201、192.168.57.202、192.168.57.203
#2个分片复制集
分片集群1:（192.168.57.201:27017、192.168.57.202:27017、192.168.57.203:27017）
分片集群2:（192.168.57.201:27018、192.168.57.202:27018、192.168.57.203:27018）
#1个config复制集
config复制集：(192.168.57.201:28018、192.168.57.202:28018、192.168.57.203:28018)
1个mongos节点

config搭建复制集是为了保证config节点的高可用性，避免config挂了，mongos找不到数据存储的地方

搭建mongodb分片复制集

⚠️：如果配置中没有的的文件夹，需要手动创建，例如下面的/opt/mongo/data/db文件夹

  • shard1集群步骤

    • 添加复制集配置文件：mongo.conf，三台虚拟机都要加

      # 添加复制集配置文件
fork=true
dbpath=/opt/mongo/data/db
port=27017
bind_ip=0.0.0.0
logpath=/opt/mongo/logs/mongodb.log
logappend=true
# 副本集名称
replSet=goat_repl
smallfiles=true
# 分片集群必须要有的属性
shardsvr=true

    • 添加复制集配置文件: mongo2.conf，同样三台虚拟机都要加

      # 添加复制集配置文件
fork=true
dbpath=/opt/mongo/data/db
# 注意这里的port要改为27018
port=27018
bind_ip=0.0.0.0
logpath=/opt/mongo/logs/mongodb.log
logappend=true
# 副本集2的名称要与副本集1名称不同
replSet=goat_repl2
smallfiles=true
# 分片集群必须要有的属性
shardsvr=true

    • 去到mongod所在目录下，启动两个副本集

      # mongo.conf替换为自己的配置文件路径
./mongod -f mongo.conf
./mongod -f mongo2.conf

    • 登陆副本集，添加初始化配置

      # 进入mongo客户端
# 配置goat_repl副本集
./mongo -port 27017


# 配置goat_repl2副本集
./mongo -port 27018

    • 进入shell后，执行初始化命令

      27017配置

      var rsconf = {
	_id:'goat_repl', // 这里的id要与配置文件中指定的服务所属复制集相同
	members: // 复制集成员
	[
		{
			_id:1, // 成员id
			host: '192.168.57.201:27017'
		},
		{
			_id:2, // 成员id
			host: '192.168.57.202:27017'
		},
		{
			_id:3, // 成员id
			host: '192.168.57.203:27017'
		}
	]
}
# 初始化配置
rs.initiate(rsconf)

      27018配置

      var rsconf = {
	_id:'goat_repl2', // 这里的id要与配置文件中指定的服务所属复制集相同
	members: // 复制集成员
	[
		{
			_id:1, // 成员id
			host: '192.168.57.201:27018'
		},
		{
			_id:2, // 成员id
			host: '192.168.57.202:27018'
		},
		{
			_id:3, // 成员id
			host: '192.168.57.203:27018'
		}
	]
}
# 初始化配置
rs.initiate(rsconf)
# 状态查看
rs.status()
配置mongodb分片配置集

  • 搭建config节点复制集

    • 创建config节点配置文件：mongo-cfg.conf（同样3台虚拟机都要配置）

      systemLog:
	destination: file
	path: /opt/mongo/mongo-cfg/logs/mongodb.log
	logAppend: true
storage:
	joural:
		enable: true
	# 数据存储位置
	dbPath: /opt/mongo/mongo-cfg/data
	# 是否一个库一个文件夹
	directoryPerDB: true
	wiredTiger:
		engineConfig:
			#最大使用的cache，根据需求调节
			cacheSizeGB: 1
			#是否将索引也按照数据库名，单独存储
			directoryForIndexes: true
		collectionConfig:
			#表压缩配置
			blockCompressor: zlib
		indexConfig:
			prefixCompression: true
net:
	# ip地址
	bindIp: 192.168.57.201
	# 端口
	port: 28018
replication:
	oplogSizeMB: 2048
	# 配置节点的复制集名称
	replSetName: configReplSet
sharding:
	clusterRole: configsvr
processManageMent:
	fork: true

      systemLog:
	destination: file
	path: /opt/mongo/mongo-cfg/logs/mongodb.log
	logAppend: true
storage:
	joural:
		enable: true
	# 数据存储位置
	dbPath: /opt/mongo/mongo-cfg/data
	# 是否一个库一个文件夹
	directoryPerDB: true
	wiredTiger:
		engineConfig:
			#最大使用的cache，根据需求调节
			cacheSizeGB: 1
			#是否将索引也按照数据库名，单独存储
			directoryForIndexes: true
		collectionConfig:
			#表压缩配置
			blockCompressor: zlib
		indexConfig:
			prefixCompression: true
net:
	# ip地址
	bindIp: 192.168.57.202
	# 端口
	port: 28018
replication:
	oplogSizeMB: 2048
	# 配置节点的复制集名称
	replSetName: configReplSet
sharding:
	clusterRole: configsvr
processManageMent:
	fork: true

      systemLog:
	destination: file
	path: /opt/mongo/mongo-cfg/logs/mongodb.log
	logAppend: true
storage:
	joural:
		enable: true
	# 数据存储位置
	dbPath: /opt/mongo/mongo-cfg/data
	# 是否一个库一个文件夹
	directoryPerDB: true
	wiredTiger:
		engineConfig:
			#最大使用的cache，根据需求调节
			cacheSizeGB: 1
			#是否将索引也按照数据库名，单独存储
			directoryForIndexes: true
		collectionConfig:
			#表压缩配置
			blockCompressor: zlib
		indexConfig:
			prefixCompression: true
net:
	# ip地址
	bindIp: 192.168.57.203
	# 端口
	port: 28018
replication:
	oplogSizeMB: 2048
	# 配置节点的复制集名称
	replSetName: configReplSet
sharding:
	clusterRole: configsvr
processManageMent:
	fork: true

    • 启动配置复制集（三台）

      ./mongod -f /opt/mongo/mongo-cfg.conf

    • 初始化配置节点（三台）

      # 登陆
./mongo -host 192.168.57.201 -port 28018

    • 初始化命令

      var rsconf = {
	_id:'configReplSet', // 这里的id要与配置文件中指定的服务所属复制集相同
	members: // 复制集成员
	[
		{
			_id:1, // 成员id
			host: '192.168.57.201:28018'
		},
		{
			_id:2, // 成员id
			host: '192.168.57.202:28018'
		},
		{
			_id:3, // 成员id
			host: '192.168.57.203:28018'
		}
	]
}
# 初始化配置
rs.initiate(rsconf)
配置mongos节点

  • mongos配置文件

    systemLog:
	destination: file
	path: /opt/mongo/mongos/log/mongos.log
	logAppend: true
net:
	bindIp: 192.168.57.201
	port: 28017
sharding:
	configDB: configReplSet/192.168.57.201:28018,192.168.57.202:28018,192.168.57.201:28018
processManagement:
	fork: true

  • 启动mongos

    ./mongos -confjg /opt/mongo/mongos/mongos.conf
添加集群中的分片节点

  • 切换到admin数据库

    use admin

  • 添加shard1复制集

    db.runCommand({
	addshard: "goat_repl/192.168.57.201:27017,192.168.57.202:27017,192.168.57.203:27017",
	name: "shard1"
})

  • 添加shard2复制集

    db.runCommand({
	addshard: "goat_repl2/192.168.57.201:27018,192.168.57.202:27018,192.168.57.203:27018",
	name: "shard1"
})

  • 查看分片

    # 列出分片
db.runCommand({listshards: 1})
# 查看分片集群的状态
sh.status()
测试分片集群
  • 先创建一个数据库，开启分片
db.runCommand({ enablesharding: "testdb" })
  • 创建分片的键
db.runCommand({ shardcollection: "testdb.users", key: {id: 1}})
  • 创建索引（如果不是空集合，不是第一次操作）
use testdb
db.users.ensureIndex({id: 1})
  • 添加测试数据
var arr=[];
for(var i = 0; i < 1500000;i++) {
	var uid = i;
	var name = "name" + i;
	arr.push({"id":uid, "name":name});
}
db.users.insertMany(arr);

其他分片集群的命令

# 删除分片
db.runCommand({removeShard: "shard2"})

分片集群部署的常见错误

  • 分片不会默认生成，需要先在数据库中启动分片（sh.enableSharding(“DBName”)），然后再设置集合分片（sh.shardCollection(“Collection”{片键})）
沉淀的老山羊
关注
专栏目录
mongoDB 分片集群搭建
xiaoenxiaoen的专栏
06-24 231
1.搭建环境 OS：centos7 mem：8G 2.软件版本 mongodb-linux-x86_64-3.2.22 端口规划 ip port mongos 127.0.0.1 28017 config 镜像 127.0.0.1 28018 镜像 127.0.0.1 28019 镜像 127.0.0.1 28020 shard1 p 127.0.0.1 28021 ...
手把手教你搭建MongoDB分片式部署集群+实战
Executing_的博客
11-17 6054
MongoDB分片式集群部署实战，构建一个MongoDB的分片集群，需要三个重要组件，分别是分片服务器（Shard Server）、配置服务器（Config Server）、路由服务器（Router Server）。
mongodb集群
m0_66925868的博客
10-08 1474
分片键（Shard Key）: 首先，你需要选择一个分片键，这通常是文档中的一个字段或多个字段的组合。分片键用于确定文档应该存储在哪个分片上。数据分裂（Splitting）: 当文档被插入到一个分片中时，如果该分片上的数据量达到一定阈值（由chunkSize控制），那么这个分片就会被分裂成两个或更多的新分片。数据迁移（Migration）: 分片集群中的平衡器（balancer）会监控数据分布，并自动将分片从一个分片移动到另一个分片，以保持数据的均衡分布。
搭建MongoDB分片集群
misakivv的博客
05-03 2380
分片（sharding）是一种跨多台机器分布数据的方法，MongoDB使用分片来支持具有非常大的数据集和高吞吐量操作的部署。 分片是将数据拆分，散到不同的机器上，不需要功能强大的大型计算机就可以储存更多的数据，处理更多的负载。有时也叫分区 (partitioning)。
mongodb分片集群搭建
wutongyuWxc的博客
08-14 1012
分片集群2: (10.168.2.138:27012、10.168.4.204:27012、10.168.4.205:27012)分片集群1:（10.168.2.138:27011、10.168.4.204:27011、10.168.4.205:27011）第一步：添加mongodb yum仓库 : /etc/yum.repos.d/mongodb-org.repo。：在三台服务器上分别创建分片配置文件： /etc/mongod-cfg.conf。：在10.168.2.138服务器上，执行分片集初始化。
MongoDB-分片集群搭建
Cao_Mary的博客
03-21 2167
MongoDB-分片集群搭建1.分片集群搭建整体思路1.1 搭建配置服务器复制集1.2 搭建分片服务器复制集1.3 搭建路由服务器2.搭建配置服务器集群2.0 创建配置文件目录结构2.1 编写配置文件2.2 注册MongoDB服务2.3 开启任务【服务】2.4 测试服务可用性2.5 添加复制集[初始化]3.搭建分片服务器集群3.0 创建文件目录结构3.1编写配置文件3.2注册MongoDB服务3.3 在任务管理器中开启任务3.4 测试服务可用性3.5 添加复制集4.搭建路由服务器4.0 创建文件目录结构4.
MongoDB 分片集群搭建
zzbjut
12-26 2312
一 .集群部署简介        MongoDB 的部署方式十分灵活，可以使用单个 MongoDB 实例，也可以使用复制集和分片集群。在测试开发阶段一般使用单个 MongoDB 实例。由于云数 据中心需要存储海量数据且系统并发访问量大，所以需要使用 MongoDB 分片集 群存储数据，这里将使用三台机器来搭建 MongoDB 分片集群，其部署方式如下图所示。
MongoDB分片集群搭建教程：副本集创建与数据分片
最新发布
11-12
内容概要：本文提供了详细的MongoDB分片集群的搭建指导，涵盖了从环境准备、配置文件编写、副本集的建立、主节点的选择、配置服务器和数据分片服务器的配置到最后的路由节点的搭建与操作整个流程，以及对数据库的...
MongoDB4.2分片及副本集群搭建
04-21
MongoDB4.2分片及副本集群搭建 MongoDB集群 MongoDB分片 MongoDB副本 MongoDB副本集群
mongodb 分片集群搭建过程（无副本）
04-18
mongodb 分片集群搭建过程（无副本），详细操作步骤，linux命令
MongoDB分片集群部署，使用
qq_61920297的博客
07-29 917
MongoDB两个分片的集群部署和简单应用
MongoDB分片集群部署
Meguling的博客
04-23 980
三台设备都需要部署shard1形成副本集，最后部署完成的结果是：192.168.36.137为主(PRIMARY)，138为从(SECONDARY)，139为仲裁(ARBITER)，端口都为22001。三台设备都需要部署shard2形成副本集，最后部署完成的结果是：192.168.36.137为仲裁(ARBITER)，138为主(PRIMARY)，139为从(SECONDARY)，端口都为22002。三台设备同样也都需要部署route，端口都为20000。所有设备都要进行如下操作。
mongoDB分片集群部署
weixin_39934651的博客
02-22 1786
一、MongoDB 背景 MongoDB 是一款功能完善的分布式文档数据库，是一款非常出名的 NoSQL 数据库。当前国内使用 Mongodb 的大型实践越来越多，MongoDB 为我司提供了重要的数据库存储服务，支撑着每天近千万级 QPS 峰值读写，数万亿级数据量存储服务。 MongoDB 在高性能、动态扩缩容、高可用、易部署、易使用、海量数据存储等方面拥有很大优势。近些年，MongoDB 在 DB-Engines 流行度排行榜稳居榜单 Top5 ，且历年得分是持续增长的，具体如下图所示： DB-En
【MongoDB】五、MongoDB分片集群的部署
慢热型网友的博客
06-21 5240
2、执行“vi”命令，在配置文件mongodb_shard1.conf mongodb_shard2.conf mongodb_shard3.conf中添加分片服务器1的相关参数（服务器zrz01）4、执行“vi”命令，在配置文件mongodb_shard1.conf mongodb_shard2.conf mongodb_shard3.conf中添加分片服务器1的相关参数（服务器zrz02）2、在服务器nosql01的配置服务器、分片服务器以及路由服务器的日志目录下，创建对应的日志管理文件。
MongoDB 集群（一）
左岸
11-19 134
开发十年，就只剩下这套Java开发体系了 &gt;&gt;&gt;    ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值