MongoDB分片集群介绍以及安装

最新推荐文章于 2024-06-30 15:44:51 发布
最新推荐文章于 2024-06-30 15:44:51 发布
阅读量4.8k 收藏 13
点赞数 2
分类专栏： MongoDB 文章标签： MongoDB 分片集群 安装
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/supermao1013/article/details/89743506
版权

文章目录

架构概述

在这里插入图片描述
MongoDB部署架构分为单机、可复制集、分片集群，单机适合学习使用；分片集群比较复杂、运维难度高，在数据量达到一定瓶颈的时候才考虑使用，要慎重选择；可复制集是非常适合用于生产环境的一种架构

本文讲解的是分片集群架构的原理和搭建

分片集群原理

分片是把大型数据集进行分区成更小的可管理的片，这些数据片分散到不同的mongoDB节点，这些节点组成了分片集群

分片集群是个双刃剑，在提高系统可扩展性和性能的同时，增大了系统的复杂性，所以在实施之前请确定是必须的

mongoDB分片集群推荐的模式是：分片集合，它是一种基于分片键的逻辑对文档进行分组

以order集合为例，使用useCode作为分片键：
在这里插入图片描述
分片1和分片2相当于mongodb节点服务器，内部的块是将order集合再切割的结果

随着数据量的的增大,分片会分割和迁移,以满足数据的均匀分布

  • 请求分流：通过路由节点将请求分发到对应的分片和块中
  • 数据分流：内部提供平衡器保证数据的均匀分布，这是数据平均分布式、请求平均分布的前提
  • 块的拆分：3.4版本块的最大容量为64M或者10w的数据，当到达这个阈值，触发块的拆分，一分为二
  • 块的迁移：为保证数据在分片节点服务器分片节点服务器均匀分布，块会在节点之间迁移。一般相差8个分块的时候触发

部署架构大致如下：
在这里插入图片描述

  • 分片：在集群中唯一存储数据的位置，可以是单个mongo服务器，也可以是可复制集，每个分片上存储部分数据。生产环境推荐使用可复制集
  • mongos路由：由于分片只存储部分数据，需要mongos路由将读写操作路由到对应的分区上。mongos提供了单点连接集群的方式，轻量级、非持久化，所以通常mongos和应用部署在同一台服务器上
  • 配置服务器：存储集群的元数据，元数据包括数据库、集合、分片的范围位置以及跨片数据分割和迁移的日志信息。mongos启动时会从配置服务器读取元数据信息在内存中。配置服务器最低3台

分片集群搭建

环境准备

在这里插入图片描述
这里都在同一台机器上搭建伪分布式，在生产环境一定要分开搭建！！！

mongos路由 192.168.31.41:27025

配置服务器3台

  • 192.168.31.41:27022
  • 192.168.31.41:27023
  • 192.168.31.41:27024

分片服务器3台，其中有一台是可复制集架构，其他两台是单机架构（生产环境最好三个分片都是可复制集架构）

  • 分片1 192.168.31.41:27020
  • 分片2 192.168.31.41:27017 192.168.31.41:27018 192.168.31.41:27019
  • 分片3 192.168.31.41:27021

单机安装参考：MongoDB在CentOS7下的yum方式和压缩包方式安装

可复制集安装参考：MongoDB可复制集架构介绍以及安装

mongs路由安装

属于单机安装，直接参考上面的地址

安装目录：/usr/local/mongodb/sharding/mongos

配置文件mongodb.conf如下：

storage:
   dbPath: "/usr/local/mongodb/sharding/mongos/data"
   journal:
      enabled: true
   directoryPerDB: true
   engine: wiredTiger
   wiredTiger:
        engineConfig:
            cacheSizeGB: 1
            journalCompressor: snappy
            directoryForIndexes: false
        collectionConfig:
            blockCompressor: snappy
        indexConfig:
            prefixCompression: true
systemLog:
   destination: file
   path: "/usr/local/mongodb/sharding/mongos/log/mongodb.logs"
net:
   port: 27025
   http:
      RESTInterfaceEnabled: true
processManagement:
   fork: false

配置服务器可复制集安装

每个节点都属于可复制集安装，直接参考上面的地址

安装路径

  • 192.168.31.41:27022 /usr/local/mongodb/sharding/config/node1
  • 192.168.31.41:27023 /usr/local/mongodb/sharding/config/node2
  • 192.168.31.41:27024 /usr/local/mongodb/sharding/config/node3

列举node1的配置文件mongodb.conf如下（node2、node3的配置文件只有端口号、数据目录、日志目录不同外，其他配置相同）：

storage:
   dbPath: "/usr/local/mongodb/sharding/config/node1/data"
   journal:
      enabled: true
   directoryPerDB: true
   engine: wiredTiger
   wiredTiger:
        engineConfig:
            cacheSizeGB: 1
            journalCompressor: snappy
            directoryForIndexes: false
        collectionConfig:
            blockCompressor: snappy
        indexConfig:
            prefixCompression: true
systemLog:
   destination: file
   path: "/usr/local/mongodb/sharding/config/node1/log/mongodb.logs"
net:
   port: 27022
   http:
      RESTInterfaceEnabled: true
processManagement:
   fork: false
replication:
   replSetName: shardingConfig
   oplogSizeMB: 500
sharding:
   clusterRole: configsvr

注意：

因为这三台是可复制集，所以配置文件里一定都要加上：

replication:
   replSetName: shardingConfig
   oplogSizeMB: 500

因为这三台是配置服务器，所以配置文件里一定都要加上：

sharding:
   clusterRole: configsvr

分片集群安装

分片1、分片3安装

分片1、分片3都属于单机安装，直接参考上面的地址

安装路径

  • 分片1 192.168.31.41:27020 /usr/local/mongodb/sharding/cluster/sharding1
  • 分片3 192.168.31.41:27021 /usr/local/mongodb/sharding/cluster/sharding3

列举分片1的配置文件mongodb.conf如下（分片的配置文件只有端口号、数据目录、日志目录不同外，其他配置相同）：

storage:
   dbPath: "/usr/local/mongodb/sharding/cluster/sharding1/data"
   journal:
      enabled: true
   directoryPerDB: true
   engine: wiredTiger
   wiredTiger:
        engineConfig:
            cacheSizeGB: 1
            journalCompressor: snappy
            directoryForIndexes: false
        collectionConfig:
            blockCompressor: snappy
        indexConfig:
            prefixCompression: true
systemLog:
   destination: file
   path: "/usr/local/mongodb/sharding/cluster/sharding1/log/mongodb.logs"
net:
   port: 27020
   http:
      RESTInterfaceEnabled: true
processManagement:
   fork: false
sharding:
   clusterRole: shardsvr

注意：

因为这两台是分片服务器，所以配置文件里一定都要加上：

sharding:
   clusterRole: shardsvr

分片2安装

分片2属于可复制集安装，直接参考上面的地址

安装路径

  • 分片2 192.168.31.41:27017 /usr/local/mongodb/sharding/cluster/sharding2/master
  • 分片2 192.168.31.41:27018 /usr/local/mongodb/sharding/cluster/sharding2/slave1
  • 分片2 192.168.31.41:27019 /usr/local/mongodb/sharding/cluster/sharding2/slave2

列举分片2其中一台master的配置文件mongodb.conf如下（其他两个slave配置文件只有端口号、数据目录、日志目录不同外，其他配置相同）：

storage:
   dbPath: "/usr/local/mongodb/sharding/cluster/sharding2/master/data"
   journal:
      enabled: true
   directoryPerDB: true
   engine: wiredTiger
   wiredTiger:
        engineConfig:
            cacheSizeGB: 1
            journalCompressor: snappy
            directoryForIndexes: false
        collectionConfig:
            blockCompressor: snappy
        indexConfig:
            prefixCompression: true
systemLog:
   destination: file
   path: "/usr/local/mongodb/sharding/cluster/sharding2/master/log/mongodb.logs"
net:
   port: 27017
   http:
      RESTInterfaceEnabled: true
processManagement:
   fork: false
replication:
   replSetName: configRS
   oplogSizeMB: 500
sharding:
   clusterRole: shardsvr

注意：

因为这三台是可复制集，所以配置文件里一定都要加上：

replication:
   replSetName: configRS
   oplogSizeMB: 500

因为这两台是分片服务器，所以配置文件里一定都要加上：

sharding:
   clusterRole: shardsvr

初始化两个可复制集

创建一个启动脚本

cd /usr/local/mongodb/sharding

mkdir logs

vim start-sharding-mongo.sh

#输入如下内容
nohup  ./cluster/sharding1/bin/mongod -f ./cluster/sharding1/bin/mongodb.conf >./logs/cluster-sharding1.log 2>&1 &
nohup  ./cluster/sharding3/bin/mongod -f ./cluster/sharding3/bin/mongodb.conf >./logs/cluster-sharding3.log 2>&1 &
nohup  ./cluster/sharding2/master/bin/mongod -f ./cluster/sharding2/master/bin/mongodb.conf >./logs/cluster-sharding2-master.log  2>&1 &
nohup  ./cluster/sharding2/slave1/bin/mongod -f ./cluster/sharding2/slave1/bin/mongodb.conf >./logs/cluster-sharding2-slave1.log  2>&1 &
nohup  ./cluster/sharding2/slave2/bin/mongod -f ./cluster/sharding2/slave2/bin/mongodb.conf >./logs/cluster-sharding2-slave2.log  2>&1 &
nohup  ./config/node1/bin/mongod -f ./config/node1/bin/mongodb.conf >./logs/config-node1.log 2>&1 &
nohup  ./config/node2/bin/mongod -f ./config/node2/bin/mongodb.conf >./logs/config-node2.log 2>&1 &
nohup  ./config/node3/bin/mongod -f ./config/node3/bin/mongodb.conf >./logs/config-node3.log 2>&1 &

#保存后修改为可执行
chmod u+x start-sharding-mongo.sh

紧接着运行启动脚本

./start-sharding-mongo.sh

登陆分片2主节点（192.168.31.41:27017）进行可复制集的初始化：

cd /usr/local/mongodb/sharding/cluster/sharding2/master/bin
mongo 127.0.0.1:27017

rs.initiate({
      _id: "configRS",
      version: 1,
      members: [{ _id: 0, host : "192.168.31.41:27017" }]});
rs.add("192.168.31.41:27018");
rs.add("192.168.31.41:27019");

登陆任意一台配置服务器，进行配置服务器可复制集初始化

cd /usr/local/mongodb/sharding/config/node1/bin/
mongo 127.0.0.1:27022

rs.initiate({
      _id: "shardingConfig",
      version: 1,
      members: [{ _id: 0, host : "192.168.31.41:27022" }]});
rs.add("192.168.31.41:27023");
rs.add("192.168.31.41:27024");

分片配置

最后，启动mongos路由开始分片配置，启动命令：

nohup  ./mongos/bin/mongos --configdb shardingConfig/192.168.31.41:27022,192.168.31.41:27023,192.168.31.41:27024 --port 27025 --logpath=/usr/local/mongodb/sharding/mongos/log/mongodb.logs >./logs/mongos.log 2>&1 &

连接mongos，增加分片：

cd /usr/local/mongodb/sharding/mongos/bin
mongo --port 27025

use admin;
sh.addShard("192.168.31.41:27020");
sh.addShard("192.168.31.41:27021");	   sh.addShard("configRS/192.168.31.41:27017,192.168.31.41:27018,192.168.31.41:27019");

说明：configRS这个是分片中节点2的可复制集的名称

针对集合分片

以上所有都配置完毕后，接下来就是根据实际情况对数据库和集合进行分片了

比如现在要对 数据库dalomao中的集合orders进行分片，应该进行如下操作：

cd /usr/local/mongodb/sharding/mongos/bin
mongo --port 27025

use admin;
sh.enableSharding("dalomao")  #对dalomao这个库启用分片
sh.shardCollection("dalomao.orders",{"useCode":1,"_id":1});  #对orders集合进行分片，分片键为{"useCode":1,"_id":1}

可以使用sh.status()或图形化工具查看分片结果：
在这里插入图片描述
在这里插入图片描述
测试一下吧，在mongos中插入数据：

use dalomao

db.orders.insertMany([{"useCode":"1"},{"useCode":"10"},{"useCode":"100"},{"useCode":"1000"},{"useCode":"10000"}])

然后登陆到3台分片机器上，查看这些数据落在哪些机器上（笔者是全部落在27020这台分片1上）

启动和停止命令

当全部搭建完毕后，其实可以将mongos的启动命令也加入到sh脚本中，因此最终的启动脚本start-sharding-mongo.sh应该是这样的：

nohup  ./cluster/sharding1/bin/mongod -f ./cluster/sharding1/bin/mongodb.conf >./logs/cluster-sharding1.log 2>&1 &
nohup  ./cluster/sharding3/bin/mongod -f ./cluster/sharding3/bin/mongodb.conf >./logs/cluster-sharding3.log 2>&1 &
nohup  ./cluster/sharding2/master/bin/mongod -f ./cluster/sharding2/master/bin/mongodb.conf >./logs/cluster-sharding2-master.log  2>&1 &
nohup  ./cluster/sharding2/slave1/bin/mongod -f ./cluster/sharding2/slave1/bin/mongodb.conf >./logs/cluster-sharding2-slave1.log  2>&1 &
nohup  ./cluster/sharding2/slave2/bin/mongod -f ./cluster/sharding2/slave2/bin/mongodb.conf >./logs/cluster-sharding2-slave2.log  2>&1 &
nohup  ./config/node1/bin/mongod -f ./config/node1/bin/mongodb.conf >./logs/config-node1.log 2>&1 &
nohup  ./config/node2/bin/mongod -f ./config/node2/bin/mongodb.conf >./logs/config-node2.log 2>&1 &
nohup  ./config/node3/bin/mongod -f ./config/node3/bin/mongodb.conf >./logs/config-node3.log 2>&1 &
nohup  ./mongos/bin/mongos --configdb shardingConfig/192.168.31.41:27022,192.168.31.41:27023,192.168.31.41:27024 --port 27025 --logpath=/usr/local/mongodb/sharding/mongos/log/mongodb.logs >./logs/mongos.log 2>&1 &

停止脚本stop-sharding-mongo.sh应该是这样的：

ps -ef|grep mongos | awk '{print($2)}' |xargs kill -9
./cluster/sharding1/bin/mongod --shutdown -f ./cluster/sharding1/bin/mongodb.conf
./cluster/sharding3/bin/mongod --shutdown -f ./cluster/sharding3/bin/mongodb.conf
./cluster/sharding2/master/bin/mongod --shutdown -f ./cluster/sharding2/master/bin/mongodb.conf
./cluster/sharding2/slave1/bin/mongod --shutdown -f ./cluster/sharding2/slave1/bin/mongodb.conf
./cluster/sharding2/slave2/bin/mongod --shutdown -f ./cluster/sharding2/slave2/bin/mongodb.conf
./config/node1/bin/mongod --shutdown -f ./config/node1/bin/mongodb.conf
./config/node2/bin/mongod --shutdown -f ./config/node2/bin/mongodb.conf
./config/node3/bin/mongod --shutdown -f ./config/node3/bin/mongodb.conf

分片注意点和建议

分片注意点

  • 热点 ：某些分片键会导致所有的读或者写请求都操作在单个数据块或者分片上，导致单个分片服务器严重不堪重负。自增长的分片键容易导致写热点问题

  • 不可分割数据块：过于粗粒度的分片键可能导致许多文档使用相同的分片键，这意味着这些文档不能被分割为多个数据块，限制了mongoDB均匀分布数据的能力

  • 查询障碍：分片键与查询没有关联，造成糟糕的查询性能

分片建议

  • 不要使用自增长的字段作为分片键，避免热点问题

  • 不能使用粗粒度的分片键，避免数据块无法分割

  • 不能使用完全随机的分片键值，造成查询性能低下

  • 使用与常用查询相关的字段作为分片键，而且包含唯一字段（如业务主键,id等）

  • 索引对于分区同样重要，每个分片集合上要有同样的索引，分片键默认成为索引。分片集合只允许在id和分片键上创建唯一索引

达龙猫
关注
  • 2
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MongoDB4.2分片及副本集群搭建
04-21
MongoDB4.2分片及副本集群搭建 MongoDB集群 MongoDB分片 MongoDB副本 MongoDB副本集群
基于docker的mongodb分片集群
单俞浩的博客
06-12 1898
基于docker的mongodb分片集群
MongoDB分片集群shard扩缩容
三思的博客
04-13 2674
文章目录一、分片shard节点缩容二、分片shard节点扩容 一、分片shard节点缩容 Mongodb分片集群shard节点缩容相对是比较简单的，可以利用MongoDB自身的平衡器来将预下线中的分片中存储的数据进行转移，待预下线shard节点中无任何数据库，进行下线处理。所有的下线操作通过mongos进行管理实现。 1、查看分片集群是否开启平衡器 mongos> sh.getBalancerState() true 2、发起删除分片节点命令，平衡器开始自动迁移数据 -- 查看当前集群状态 mong
MongoDB分片集群
最新发布
yueechu的博客
06-30 736
将数据水平拆分到不同的服务器上。
docker快速搭建mongodb的分片集群
qq_45003354的博客
12-13 625
docker快速搭建mongodb的分片集群
8.MongoDB之分片集群
mijichui2153的博客
03-14 1万+
一、mongodb分片与各角色与概念介绍 Mongodb的分片机制是mongodb数据库的核心机制，也是其可用性高，扩展性好的原因，分片—sharding 的意思就是将数据库数据分散存贮到不同的服务器上，来缓解高并发访问，均衡负载。举例来说一下，比如说一个collection有TB级别的数据，在传统方式下如果有两个线程要访问其中的数据，即使这个线程访问的数据是不同的，为保证同步需要排队等待，分片机制可以很好的解决这个问题，分片机制其实就是分布式的集群，比如现在有五台服务器作为集群，mongodb可以将一.
使用 Docker 部署高可用 MongoDB 分片集群
github_38616039的博客
11-01 2327
首先我们先来了解一下 Mongo 集群的概念，Mongo 集群有 3 个主要组件 Mongos、ConfigServer、Shard，Mongos 是一个路由，他们的信息都存储在 ConfigServer 中，我们通过 Mongos 进行添加，然后根据条件将数据进行分片到分片的副本集中。
MongoDB分片集群部署详解
09-09
本篇文章将详细阐述MongoDB分片集群的部署过程和相关概念。 首先，理解分片集群的基本构成。MongoDB的分片集群由三个主要部分组成：mongos路由服务器、config servers配置服务器以及shards存储节点。mongos负责...
MongoDB的分片集群基本配置教程
09-10
本教程将详细讲解MongoDB分片集群的基本配置步骤。 首先，了解为何需要进行数据分片。分片的主要目标是解决单个服务器的性能瓶颈，包括处理能力（请求量）和存储空间。通过分片，可以减少单台服务器的负载，提高...
mongodb分片集群增加acl
03-15
MongoDB分片集群是一种分布式数据存储结构，可以实现水平扩展。分片集群由三部分组成：mongos路由服务器、config配置服务器和多个分片节点。mongos作为路由服务器，负责接收客户端请求并将其转发到正确的分片。...
基于Docker搭建Mongodb6.0分片（单机版）
one2threexm的专栏
06-15 2558
一、Mongodb分片架构图
『MongoDB』MongoDB高可用部署架构——分片集群篇（Sharding）
老陈聊架构
03-23 3294
📣读完这篇文章里你能收获到，为什么要使用分片吗， Mongodb分片集群有哪些特点了， Mongodb分片集群的完整架构，Mongodb分片集群数据分布方式， Mongodb分片集群的设计思路， Mongodb分片集群搭建及扩容...
（保姆级）离线安装mongoDB集群
LvFengQi的博客
03-19 787
Replica Set 将数据复制多份保存，不同服务器保存同一份数据，在出现故障时自动切换，实现故障转移。此集群拥有一个主节点和多个从节点，这一点与主从复制模式类似，且主从节点所负责的工作也类似，但是副本集与主从复制的区别在于：当集群中主节点发生故障时，副本集可以自动投票，选举出新的主节点，并引导其余的从节点连接新的主节点，而且这个过程对应用是透明的。
MongoDB分片集群(sharded cluster)搭建过程
热门推荐
duanbeibei的专栏
04-16 1万+
1.分片集群概述 MongoDB分片集群，英文名称为： Sharded Cluster 旨在通过横向扩展，来提高数据吞吐性能、增大数据存储量。 分片集群由三个组件：“mongos”, “config server”, “shard” 组成。 框架如下（图片来自mongodb官网说明）： mongos:数据库请求路由。负责接收所有客户端应用程序的连接查询请求，并将请求路由到集群内部对应的分片上。...
MongoDB分片和水平扩展
互联网知识分享
08-24 492
MongoDB分片是指将一个MongoDB集合的数据分散存储到多个物理机器上，以实现数据的水平扩展和负载均衡。分片可以提高读写吞吐量和存储容量，并且可以根据实际需求动态扩展。
docker mongodb分片集群
码农的专栏
12-06 1537
docker mongodb分片集群
MongoDB分片集群扩展-理论篇
Nodejs
09-17 748
摘自《MongoDB实战第二版》 随着应用系统规模的增长，成本会变的越来越高，而且又是偶无法实现使用单台机器来处理负载压力，这种问题的一个解决方案就是汇聚大量低价且低处理能力的机器来解决问题。 MongoDB的分片就是为解决这种问题而设计的，把超大量数据使用更小的片进行分区存储，这样就不需要在单个机器上存储所有的数据或者承担全部压力。 为什么需要分片集群扩展系统而不是复制集？？？ Mong...
mongodb 集群安装
yangkei
06-15 1134
在各服务器上创建数据目录，使用/data,也可以按特定需求指定目录。
Mongodb集群搭建
失之东隅的博客
02-10 4474
mongodb集群搭建...
MongoDB分片集群部署实践与步骤详解
MongoDB分片集群部署详解是一篇深入讲解如何在生产环境中构建和管理MongoDB分片集群的文章。作者首先强调了当前集群的状态，即所有数据集中在单个分片上，但预留了扩展空间，以便在数据量增长时进行水平扩展，以保持...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值