MongoDB——部署MongoDB分片集群

最新推荐文章于 2024-04-23 19:10:14 发布
最新推荐文章于 2024-04-23 19:10:14 发布
阅读量1.9k 收藏 6
点赞数 4
分类专栏： MongoDB 文章标签： mongodb mysql 数据库 mongodb分片
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Cantevenl/article/details/115910285
版权

MongoDB分片集群的搭建

分片的概念

  • 分片（sharding)是一种跨多台机器分布数据的方法， MongoDB使用分片来支持具有非常大的数据集和高吞吐量操作的部署。

  • 换句话说：分片(sharding)是指将数据拆分，将其分散存在不同的机器上的过程。有时也用分区(partitioning)来表示这个概念。将数据分散到不同的机器上，不需要功能强大的大型计算机就可以储存更多的数据，处理更多的负载。

  • 具有大型数据集或高吞吐量应用程序的数据库系统会挑战单个服务器的容量。例如，高查询率会耗尽服务器的CPU容量。工作集大小大于系统的RAM会强调磁盘驱动器的I / O容量。

  • 有两种解决系统增长的方法：垂直扩展和水平扩展。

    1. 垂直扩展意味着增加单个服务器的容量，例如使用更强大的CPU，添加更多RAM或增加存储空间量。可用技术的局限性可能会限制单个机器对于给定工作负载而言足够强大。此外，基于云的提供商基于可用的硬件配置具有硬性上限。结果，垂直缩放有实际的最大值。
    2. 水平扩展意味着划分系统数据集并加载多个服务器，添加其他服务器以根据需要增加容量。虽然单个机器的总体速度或容量可能不高，但每台机器处理整个工作负载的子集，可能提供比单个高速大容量服务器更高的效率。扩展部署容量只需要根据需要添加额外的服务器，这可能比单个机器的高端硬件的总体成本更低。权衡是基础架构和部署维护的复杂性增加。

  • MongoDB支持通过分片进行水平扩展。

分片集群的优势

分片为应对高吞吐量与大数据提供了方法

  • 使用分片减少了每个分片需要处理的请求数，通过水平扩展，集群可以提高自己的存储量和吞吐量。比如，当插入一条数据时，应用只需要访问存储这条数据的分片
  • 使用分片减少了每个分片存储的数据
  • 提供类似线性增长的架构、提高数据可用性，提高大型数据库查询服务器的性能。当MongoDB 单点数据库服务器存储成为瓶颈、单点数据库服务器的性能成为瓶颈，或者需要部署大型应用以充分利用内存时，可以使用分片技术

分片集群包含的组件

在这里插入图片描述
MongoDB分片群集包含以下组件：

  • Shard：分片服务器，用于存储实际的数据块，实际生产环境中一个shard server角色可由几台服务器组成一个Replica Set 承担，防止主机单点故障
  • Config Server：配置服务器存储群集的元数据和配置设置。 从MongoDB 3.4开始，必须将配置服务器部署为副本集（CSRS）
  • Routers：前端路由，客户端由此接入，在客户端应用程序和分片集群之间提供接口，且让整个集群看上去像单一数据库，前端应用可以透明使用

部署MongoDB分片集群的

准备工作

  • Shard:
    • maomao：27017-27019（一主两从），27020（仲裁）
    • zhuzhu：27021-27023（一主两从）
  • Config Server：37017-37019
  • mongos：47017（先使用一台路由，等搭建完成之后再添加一台路由+Atlas做备份）
cd /data/logs/mongodb
touch mongodb-2702{1..3}.log
touch mongodb-3701{7..9}.log
touch mongodb-47017.log
[root@mongodb mongodb]# ls
mongodb-27017.log  mongodb-27019.log  mongodb-27021.log  mongodb-27023.log  mongodb-37018.log  mongodb-47017.log
mongodb-27018.log  mongodb-27020.log  mongodb-27022.log  mongodb-37017.log  mongodb-37019.log

chmod 777 ./*

mkdir mongodb-2702{1..3}
mkdir mongodb-3701{7..9}
mkdir mongodb-47017

cp -a mongod-27017.conf mongod-27021.conf

配置shard

注意两个复制集的名字不能相同
第一个复制集
sharding:
  clusterRole: shardsvr
replication:
  oplogSizeMB: 2048
  replSetName: maomao

第二个复制集
sed -ri -e 's/27017/27021/g' -e 's/maomao/zhuzhu/g' mongod-27021.conf
sed -ri -e 's/27017/27022/g' -e 's/maomao/zhuzhu/g' mongod-27022.conf 
sed -ri -e 's/27017/27023/g' -e 's/maomao/zhuzhu/g' mongod-27023.conf 

只在切片服务器上添加
sharding:
  clusterRole: shardsvr

配置Config Server

sed -ri -e 's/27017/37017/g'  mongod-37017.conf

vim mongod-37017.conf
sharding:
  clusterRole: configsvr
replication:
  oplogSizeMB: 2048
  replSetName: configReplSet

配置 mongos

sed -ri -e 's/27017/47017/g'  mongod-47017.conf

添加config server的地址和端口

sharding:
  configDB: configReplSet/192.168.188.101:37017,192.168.188.101:37018,192.168.188.101:37019

并且将存储路注销
#storage:
#  dbPath: /data/mongodb-47017
#  journal:
#    enabled: true

配置复制集

将所有节点打开

mongod -f /mongod-27017.conf
mongod -f mongod-27017.conf
mongod -f mongod-27018.conf
mongod -f mongod-27019.conf
mongod -f mongod-27020.conf
mongod -f mongod-27021.conf
mongod -f mongod-27022.conf
mongod -f mongod-27023.conf
mongod -f mongod-37017.conf
mongod -f mongod-37018.conf
mongod -f mongod-37019.conf

ss -ntl

进入两个主节点
第一个：
config={_id:"maomao",members:[{_id:0,host:"192.168.188.101:27017"},{_id:1,host:"1192.168.188.101:27018"},{_id:2,host:"192.168.188.101:27019"}]} 
 
rs.initiate(config)
{ "ok" : 1 }

config={_id:"zhuzhu",members:[{_id:0,host:"192.168.188.101:27021"},{_id:1,host:"192.168.188.101:27022"},{_id:2,host:"192.16
8.188.101:27023"}]}
{
	"_id" : "zhuzhu",
	"members" : [
		{
			"_id" : 0,
			"host" : "192.168.188.101:27021"
		},
		{
			"_id" : 1,
			"host" : "192.168.188.101:27022"
		},
		{
			"_id" : 2,
			"host" : "192.168.188.101:27023"
		}
	]
}
> rs.initiate(config)
{ "ok" : 1 }

进入节点服务器集群配置节点衔接

mongo --host 192.168.188.101 --port 37017


> config={_id:"configReplSet",members:[{_id:0,host:"192.168.188.101:37017"},{_id:1,host:"192.168.188.101:37018"},{_id:2,host:
"192.168.188.101:37019"}]} 

{
	"_id" : "configReplSet",
	"members" : [
		{
			"_id" : 0,
			"host" : "192.168.188.101:37017"
		},
		{
			"_id" : 1,
			"host" : "192.168.188.101:37018"
		},
		{
			"_id" : 2,
			"host" : "192.168.188.101:37019"
		}
	]
}

>  rs.initiate(config)
{ "ok" : 1 }

启动mongos

路由命令较为特殊，使用的是mongos而非mongod

whatis mongos
mongos (1)           - MongoDB Sharded Cluster Query Router

whatis mongo
mongo (1)            - MongoDB Shell

whatis mongod
mongod (1)           - MongoDB Server

mongos -f /usr/local/mongodb/bin/mongod-47017.conf 

mongo --host 192.168.188.101 --port 47017

进入路由数据库，可以看到路由数据库的名字为mongos
mongos> 

切换到admin
mongos> use admin
switched to db admin

添加分片信息
mongos> db.runCommand({addshard:"maomao/192.168.188.101:27017,192.168.188.101:27018,192.168.188.101:27019,1
92.168.188.101:27020",name:"shard1"})
{ "shardAdded" : "shard1", "ok" : 1 }

mongos>  db.runCommand({addshard:"zhuzhu/192.168.188.101:27021,192.168.188.101:27022,192.168.188.101:27023"
,name:"shard2"})
{ "shardAdded" : "shard2", "ok" : 1 }

列出分片信息
mongos> db.runCommand({listshards:1})
{
	"shards" : [
		{
			"_id" : "shard1",
			"host" : "maomao/192.168.188.101:27017,192.168.188.101:27018,192.168.188.101:27019"
,			"state" : 1
		},
		{
			"_id" : "shard2",
			"host" : "zhuzhu/192.168.188.101:27021,192.168.188.101:27022,192.168.188.101:27023"
,			"state" : 1
		}
	],
	"ok" : 1
}

整体状态查看
mongos> sh.status()
--- Sharding Status --- 
  sharding version: {
  	"_id" : 1,
  	"minCompatibleVersion" : 5,
  	"currentVersion" : 6,
  	"clusterId" : ObjectId("5f0574f7fe0c76b475e50326")
  }
  shards:
        {  "_id" : "shard1",  "host" : "kgcrs/127.0.0.1:27017,127.0.0.1:27018,127.0.0.1:27019",  "state" : 1 }
        {  "_id" : "shard2",  "host" : "kgcrs1/127.0.0.1:27020,127.0.0.1:27021,127.0.0.1:27022",  "state" : 1 }
  active mongoses:
        "3.4.24" : 1
  autosplit:
        Currently enabled: yes
  balancer:
        Currently enabled:  yes
        Currently running:  no
NaN
        Failed balancer rounds in last 5 attempts:  0
        Migration Results for the last 24 hours: 
                No recent migrations
  databases:

激活分片功能
mongos> db
admin
mongos> db.runCommand({enablesharding:"test"})
{ "ok" : 1 }

指定分片键对集合分片

创建索引 ：优化查询的重要手段
mongos> use test
switched to db test
mongos> db
test

创建索引
mongos> db.stu.ensureIndex({id:1})
{
	"raw" : {
		"zhuzhu/192.168.188.101:27021,192.168.188.101:27022,192.168.188.101:27023" : {
			"createdCollectionAutomatically" : true,
			"numIndexesBefore" : 1,
			"numIndexesAfter" : 2,
			"ok" : 1,
			"$gleStats" : {
				"lastOpTime" : {
					"ts" : Timestamp(1618913138, 2),
					"t" : NumberLong(1)
				},
				"electionId" : ObjectId("7fffffff0000000000000001")
			}
		}
	},
	"ok" : 1
}


mongos> use admin
switched to db admin

开启分片
mongos> db.runCommand({shardcollection:"test.stu",key:{id:1}})
{ "collectionsharded" : "test.stu", "ok" : 1 }

测试

集合分片验证
产生大量数据
mongos> use test;
switched to db test
mongos> for(var i=1;i<=1000000;i++){db.stu.insert({'id':i,'name':'Alice'});}

当test大小变成64mb之后 chunks: shard2会变成shard1
stan Z
关注
  • 4
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
MongoDB分片集群部署详解
09-09
主要介绍了MongoDB分片集群部署详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
MongoDB4.2分片及副本集群搭建
04-21
MongoDB4.2分片及副本集群搭建 MongoDB集群 MongoDB分片 MongoDB副本 MongoDB副本集群
手把手教你搭建MongoDB分片式部署集群+实战
Executing_的博客
11-17 2737
MongoDB分片式集群部署实战，构建一个MongoDB的分片集群，需要三个重要组件，分别是分片服务器（Shard Server）、配置服务器（Config Server）、路由服务器（Router Server）。
记录国产银河麒麟服务器安装mongoDB遇到的问题
qiangFu159的博客
02-07 493
官网地址：https://www.mongodb.com/try/download/enterprise。需要别的版本的可自行下载，上述的国产服务器，这里选择6以下的版本。因为所使用的国产服务器为内网，所以想要在命令行先做一些操作。因为6及以上的版本，安装包中取消了shell工具，所以需要shell工具的建议安装6以下的版本。出现该内容即为安装成功（详细的配置和部分操作步骤可参考下别的博主，毕竟只是个菜鸟）进入mongoDB/bin目录下，执行mongo。将安装包上传至文件服务器，解压安装包。
mongodb集群部署
fly0512的博客
12-11 158
版本：4.0.5 单机1主1从 下载解压，复制一份做从节点 #mongodb_27017配置文件 vi /home/mongodb_4.0.5/mongodb.conf systemLog: destination: file logAppend: true path: /home/mongodb_4.0.5/logs/mongod.log storage: dbPath: /h...
国产麒麟系统KylinOS Server V10 SP2安装MongoDB6.0版本
qq_35356334的博客
06-17 2380
国产服务器安装MongoDB6.0版本
MongoDB的安装(详细教程)
热门推荐
xhmico的博客
08-28 5万+
MongoDB 是一个基于分布式文件存储的数据库，主要用于为 web 应用提供可扩展的高性能数据存储解决方案。以下内容是如何在 windows 下安装 MongoDB 的教程，主要参照MongoDB - 学习教程如果想要在 Linux 下安装 MongoDB ，详见Liunx - MongoDB 的安装MongoDB由 C++语言编写，是一个介于关系型数据库和非关系型数据之间的产品，是非关系型数据库中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似与json的bson。......
MongoDB从安装到可视化工具使用
有一分热，发一分光。
04-28 5723
MongonDB光速入门，从安装到可视化工具Mongo Management Studio的使用，看这一篇就够了！傻瓜教程，有手就行。 文章目录 MongoDB 安装 配置 启动 Mongo Management Studio 测试
Mongodb安装篇（CentOS7,Mongodb4.0.1）
gaokcl的博客
10-31 765
Windows10安装参考： https://blog.csdn.net/gaokcl/article/details/81982905 php + mongodb增删改查（原生）： https://blog.csdn.net/gaokcl/article/details/85274958 # 增删改查 wamp安装php的M...
8.MongoDB之分片集群
mijichui2153的博客
03-14 1万+
一、mongodb分片与各角色与概念介绍 Mongodb的分片机制是mongodb数据库的核心机制，也是其可用性高，扩展性好的原因，分片—sharding 的意思就是将数据库数据分散存贮到不同的服务器上，来缓解高并发访问，均衡负载。举例来说一下，比如说一个collection有TB级别的数据，在传统方式下如果有两个线程要访问其中的数据，即使这个线程访问的数据是不同的，为保证同步需要排队等待，分片机制可以很好的解决这个问题，分片机制其实就是分布式的集群，比如现在有五台服务器作为集群，mongodb可以将一.
redis-4.0.11-5.ky10.aarch64.rpm
06-27
redis 华为鲲鹏处理器版本
centos7+mongodb 3.4 集群搭建：分片+副本集
12-13
centos7.0+mongodb 3.4 集群搭建：分片+副本集。3台虚拟机。如有问题可留言。
mongodb 常用指令 搭建集群 备份恢复
04-25
mongodb 复制 分片 恢复 认证,教你如何搭建 主从复制 副本集 集群分片
搭建高可用mongodb集群（四）——分片
02-26
“分片”就用这个来解决这个问题。传统数据库怎么做海量数据读写？其实一句话概括：分而治之。上图看看就清楚了，如下TaoBao岳旭强提到的架构图：上图中有个TDDL，是TaoBao的一个数据访问层组件，他主要的作用是SQL...
MongoDB的分片集群基本配置教程
09-10
MongoDB拥有经典的Sharding架构能将数据分散存储在数个服务器上以作集群,这里我们就来看一下MongoDB的分片集群基本配置教程:
【数据库】MongoDB
丷从心·的博客
04-23 1008
【数据库】MongoDB
MongoDB 与MySQL的区别？优势？
jyx_boy的博客
04-22 1622
MongoDB 与 MySQL 是两种不同类型的数据库管理系统，它们各自有独特的数据模型、查询语言、扩展方式以及适用场景。
微服务项目实战-黑马头条（八）：App端-文章ES搜索、MongoDB搜索记录和关键词联想
shendaiyan的博客
04-23 979
文章目录一、今日内容介绍1.1 App端搜索-效果图1.2 今日内容二、搭建ElasticSearch环境2.1 拉取镜像2.2 创建容器2.3 配置中文分词器 ik2.4 使用postman测试三、app端文章搜索3.1 需求分析3.2 思路分析3.3 创建索引和映射3.4 数据初始化到索引库3.4.1 导入es-init到heima-leadnews-test工程下3.4.2 查询所有的文章信息，批量导入到es索引库中3.4.3 测试3.5 文章搜索功能实现3.5.1 搭建搜索微服务3.5.2 搜索接口
【Python】MongoDB中的批量写入案例，避免单条插入失败导致整体失败
最新发布
风是自由的，你也是。
04-23 572
insertMany()方法允许向指定集合中一次性插入多个文档。这种方法比单个文档插入效率更高，特别适用于需要快速导入大量数据的场景。, , …：要插入的文档数组。ordered：控制插入操作的执行方式，为true时（默认值），如果插入某个文档失败，则停止后续所有文档的插入；为false时，即使某些文档插入失败，仍继续尝试插入其他文档。
mongodb集群——分片+副本集
05-18
MongoDB集群中的分片和副本集是两个不同的概念，但它们可以一起使用来实现高可用性和扩展性。 分片（Sharding）是将数据分散存储在多个物理节点上的过程。在MongoDB中，一个分片集合（sharded collection）会被划分...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值