MongoDB分片集群介绍以及安装

最新推荐文章于 2024-10-08 12:28:38 发布
最新推荐文章于 2024-10-08 12:28:38 发布
阅读量4.8k 收藏 13
点赞数 2
分类专栏： MongoDB 文章标签： MongoDB 分片集群 安装
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/supermao1013/article/details/89743506
版权

文章目录

架构概述

在这里插入图片描述
MongoDB部署架构分为单机、可复制集、分片集群，单机适合学习使用；分片集群比较复杂、运维难度高，在数据量达到一定瓶颈的时候才考虑使用，要慎重选择；可复制集是非常适合用于生产环境的一种架构

本文讲解的是分片集群架构的原理和搭建

分片集群原理

分片是把大型数据集进行分区成更小的可管理的片，这些数据片分散到不同的mongoDB节点，这些节点组成了分片集群

分片集群是个双刃剑，在提高系统可扩展性和性能的同时，增大了系统的复杂性，所以在实施之前请确定是必须的

mongoDB分片集群推荐的模式是：分片集合，它是一种基于分片键的逻辑对文档进行分组

以order集合为例，使用useCode作为分片键：
在这里插入图片描述
分片1和分片2相当于mongodb节点服务器，内部的块是将order集合再切割的结果

随着数据量的的增大,分片会分割和迁移,以满足数据的均匀分布

  • 请求分流：通过路由节点将请求分发到对应的分片和块中
  • 数据分流：内部提供平衡器保证数据的均匀分布，这是数据平均分布式、请求平均分布的前提
  • 块的拆分：3.4版本块的最大容量为64M或者10w的数据，当到达这个阈值，触发块的拆分，一分为二
  • 块的迁移：为保证数据在分片节点服务器分片节点服务器均匀分布，块会在节点之间迁移。一般相差8个分块的时候触发

部署架构大致如下：
在这里插入图片描述

  • 分片：在集群中唯一存储数据的位置，可以是单个mongo服务器，也可以是可复制集，每个分片上存储部分数据。生产环境推荐使用可复制集
  • mongos路由：由于分片只存储部分数据，需要mongos路由将读写操作路由到对应的分区上。mongos提供了单点连接集群的方式，轻量级、非持久化，所以通常mongos和应用部署在同一台服务器上
  • 配置服务器：存储集群的元数据，元数据包括数据库、集合、分片的范围位置以及跨片数据分割和迁移的日志信息。mongos启动时会从配置服务器读取元数据信息在内存中。配置服务器最低3台

分片集群搭建

环境准备

在这里插入图片描述
这里都在同一台机器上搭建伪分布式，在生产环境一定要分开搭建！！！

mongos路由 192.168.31.41:27025

配置服务器3台

  • 192.168.31.41:27022
  • 192.168.31.41:27023
  • 192.168.31.41:27024

分片服务器3台，其中有一台是可复制集架构，其他两台是单机架构（生产环境最好三个分片都是可复制集架构）

  • 分片1 192.168.31.41:27020
  • 分片2 192.168.31.41:27017 192.168.31.41:27018 192.168.31.41:27019
  • 分片3 192.168.31.41:27021

单机安装参考：MongoDB在CentOS7下的yum方式和压缩包方式安装

可复制集安装参考：MongoDB可复制集架构介绍以及安装

mongs路由安装

属于单机安装，直接参考上面的地址

安装目录：/usr/local/mongodb/sharding/mongos

配置文件mongodb.conf如下：

storage:
   dbPath: "/usr/local/mongodb/sharding/mongos/data"
   journal:
      enabled: true
   directoryPerDB: true
   engine: wiredTiger
   wiredTiger:
        engineConfig:
            cacheSizeGB: 1
            journalCompressor: snappy
            directoryForIndexes: false
        collectionConfig:
            blockCompressor: snappy
        indexConfig:
            prefixCompression: true
systemLog:
   destination: file
   path: "/usr/local/mongodb/sharding/mongos/log/mongodb.logs"
net:
   port: 27025
   http:
      RESTInterfaceEnabled: true
processManagement:
   fork: false

配置服务器可复制集安装

每个节点都属于可复制集安装，直接参考上面的地址

安装路径

  • 192.168.31.41:27022 /usr/local/mongodb/sharding/config/node1
  • 192.168.31.41:27023 /usr/local/mongodb/sharding/config/node2
  • 192.168.31.41:27024 /usr/local/mongodb/sharding/config/node3

列举node1的配置文件mongodb.conf如下（node2、node3的配置文件只有端口号、数据目录、日志目录不同外，其他配置相同）：

storage:
   dbPath: "/usr/local/mongodb/sharding/config/node1/data"
   journal:
      enabled: true
   directoryPerDB: true
   engine: wiredTiger
   wiredTiger:
        engineConfig:
            cacheSizeGB: 1
            journalCompressor: snappy
            directoryForIndexes: false
        collectionConfig:
            blockCompressor: snappy
        indexConfig:
            prefixCompression: true
systemLog:
   destination: file
   path: "/usr/local/mongodb/sharding/config/node1/log/mongodb.logs"
net:
   port: 27022
   http:
      RESTInterfaceEnabled: true
processManagement:
   fork: false
replication:
   replSetName: shardingConfig
   oplogSizeMB: 500
sharding:
   clusterRole: configsvr

注意：

因为这三台是可复制集，所以配置文件里一定都要加上：

replication:
   replSetName: shardingConfig
   oplogSizeMB: 500

因为这三台是配置服务器，所以配置文件里一定都要加上：

sharding:
   clusterRole: configsvr

分片集群安装

分片1、分片3安装

分片1、分片3都属于单机安装，直接参考上面的地址

安装路径

  • 分片1 192.168.31.41:27020 /usr/local/mongodb/sharding/cluster/sharding1
  • 分片3 192.168.31.41:27021 /usr/local/mongodb/sharding/cluster/sharding3

列举分片1的配置文件mongodb.conf如下（分片的配置文件只有端口号、数据目录、日志目录不同外，其他配置相同）：

storage:
   dbPath: "/usr/local/mongodb/sharding/cluster/sharding1/data"
   journal:
      enabled: true
   directoryPerDB: true
   engine: wiredTiger
   wiredTiger:
        engineConfig:
            cacheSizeGB: 1
            journalCompressor: snappy
            directoryForIndexes: false
        collectionConfig:
            blockCompressor: snappy
        indexConfig:
            prefixCompression: true
systemLog:
   destination: file
   path: "/usr/local/mongodb/sharding/cluster/sharding1/log/mongodb.logs"
net:
   port: 27020
   http:
      RESTInterfaceEnabled: true
processManagement:
   fork: false
sharding:
   clusterRole: shardsvr

注意：

因为这两台是分片服务器，所以配置文件里一定都要加上：

sharding:
   clusterRole: shardsvr

分片2安装

分片2属于可复制集安装，直接参考上面的地址

安装路径

  • 分片2 192.168.31.41:27017 /usr/local/mongodb/sharding/cluster/sharding2/master
  • 分片2 192.168.31.41:27018 /usr/local/mongodb/sharding/cluster/sharding2/slave1
  • 分片2 192.168.31.41:27019 /usr/local/mongodb/sharding/cluster/sharding2/slave2

列举分片2其中一台master的配置文件mongodb.conf如下（其他两个slave配置文件只有端口号、数据目录、日志目录不同外，其他配置相同）：

storage:
   dbPath: "/usr/local/mongodb/sharding/cluster/sharding2/master/data"
   journal:
      enabled: true
   directoryPerDB: true
   engine: wiredTiger
   wiredTiger:
        engineConfig:
            cacheSizeGB: 1
            journalCompressor: snappy
            directoryForIndexes: false
        collectionConfig:
            blockCompressor: snappy
        indexConfig:
            prefixCompression: true
systemLog:
   destination: file
   path: "/usr/local/mongodb/sharding/cluster/sharding2/master/log/mongodb.logs"
net:
   port: 27017
   http:
      RESTInterfaceEnabled: true
processManagement:
   fork: false
replication:
   replSetName: configRS
   oplogSizeMB: 500
sharding:
   clusterRole: shardsvr

注意：

因为这三台是可复制集，所以配置文件里一定都要加上：

replication:
   replSetName: configRS
   oplogSizeMB: 500

因为这两台是分片服务器，所以配置文件里一定都要加上：

sharding:
   clusterRole: shardsvr

初始化两个可复制集

创建一个启动脚本

cd /usr/local/mongodb/sharding

mkdir logs

vim start-sharding-mongo.sh

#输入如下内容
nohup  ./cluster/sharding1/bin/mongod -f ./cluster/sharding1/bin/mongodb.conf >./logs/cluster-sharding1.log 2>&1 &
nohup  ./cluster/sharding3/bin/mongod -f ./cluster/sharding3/bin/mongodb.conf >./logs/cluster-sharding3.log 2>&1 &
nohup  ./cluster/sharding2/master/bin/mongod -f ./cluster/sharding2/master/bin/mongodb.conf >./logs/cluster-sharding2-master.log  2>&1 &
nohup  ./cluster/sharding2/slave1/bin/mongod -f ./cluster/sharding2/slave1/bin/mongodb.conf >./logs/cluster-sharding2-slave1.log  2>&1 &
nohup  ./cluster/sharding2/slave2/bin/mongod -f ./cluster/sharding2/slave2/bin/mongodb.conf >./logs/cluster-sharding2-slave2.log  2>&1 &
nohup  ./config/node1/bin/mongod -f ./config/node1/bin/mongodb.conf >./logs/config-node1.log 2>&1 &
nohup  ./config/node2/bin/mongod -f ./config/node2/bin/mongodb.conf >./logs/config-node2.log 2>&1 &
nohup  ./config/node3/bin/mongod -f ./config/node3/bin/mongodb.conf >./logs/config-node3.log 2>&1 &

#保存后修改为可执行
chmod u+x start-sharding-mongo.sh

紧接着运行启动脚本

./start-sharding-mongo.sh

登陆分片2主节点（192.168.31.41:27017）进行可复制集的初始化：

cd /usr/local/mongodb/sharding/cluster/sharding2/master/bin
mongo 127.0.0.1:27017

rs.initiate({
      _id: "configRS",
      version: 1,
      members: [{ _id: 0, host : "192.168.31.41:27017" }]});
rs.add("192.168.31.41:27018");
rs.add("192.168.31.41:27019");

登陆任意一台配置服务器，进行配置服务器可复制集初始化

cd /usr/local/mongodb/sharding/config/node1/bin/
mongo 127.0.0.1:27022

rs.initiate({
      _id: "shardingConfig",
      version: 1,
      members: [{ _id: 0, host : "192.168.31.41:27022" }]});
rs.add("192.168.31.41:27023");
rs.add("192.168.31.41:27024");

分片配置

最后，启动mongos路由开始分片配置，启动命令：

nohup  ./mongos/bin/mongos --configdb shardingConfig/192.168.31.41:27022,192.168.31.41:27023,192.168.31.41:27024 --port 27025 --logpath=/usr/local/mongodb/sharding/mongos/log/mongodb.logs >./logs/mongos.log 2>&1 &

连接mongos，增加分片：

cd /usr/local/mongodb/sharding/mongos/bin
mongo --port 27025

use admin;
sh.addShard("192.168.31.41:27020");
sh.addShard("192.168.31.41:27021");	   sh.addShard("configRS/192.168.31.41:27017,192.168.31.41:27018,192.168.31.41:27019");

说明：configRS这个是分片中节点2的可复制集的名称

针对集合分片

以上所有都配置完毕后，接下来就是根据实际情况对数据库和集合进行分片了

比如现在要对 数据库dalomao中的集合orders进行分片，应该进行如下操作：

cd /usr/local/mongodb/sharding/mongos/bin
mongo --port 27025

use admin;
sh.enableSharding("dalomao")  #对dalomao这个库启用分片
sh.shardCollection("dalomao.orders",{"useCode":1,"_id":1});  #对orders集合进行分片，分片键为{"useCode":1,"_id":1}

可以使用sh.status()或图形化工具查看分片结果：
在这里插入图片描述
在这里插入图片描述
测试一下吧，在mongos中插入数据：

use dalomao

db.orders.insertMany([{"useCode":"1"},{"useCode":"10"},{"useCode":"100"},{"useCode":"1000"},{"useCode":"10000"}])

然后登陆到3台分片机器上，查看这些数据落在哪些机器上（笔者是全部落在27020这台分片1上）

启动和停止命令

当全部搭建完毕后，其实可以将mongos的启动命令也加入到sh脚本中，因此最终的启动脚本start-sharding-mongo.sh应该是这样的：

nohup  ./cluster/sharding1/bin/mongod -f ./cluster/sharding1/bin/mongodb.conf >./logs/cluster-sharding1.log 2>&1 &
nohup  ./cluster/sharding3/bin/mongod -f ./cluster/sharding3/bin/mongodb.conf >./logs/cluster-sharding3.log 2>&1 &
nohup  ./cluster/sharding2/master/bin/mongod -f ./cluster/sharding2/master/bin/mongodb.conf >./logs/cluster-sharding2-master.log  2>&1 &
nohup  ./cluster/sharding2/slave1/bin/mongod -f ./cluster/sharding2/slave1/bin/mongodb.conf >./logs/cluster-sharding2-slave1.log  2>&1 &
nohup  ./cluster/sharding2/slave2/bin/mongod -f ./cluster/sharding2/slave2/bin/mongodb.conf >./logs/cluster-sharding2-slave2.log  2>&1 &
nohup  ./config/node1/bin/mongod -f ./config/node1/bin/mongodb.conf >./logs/config-node1.log 2>&1 &
nohup  ./config/node2/bin/mongod -f ./config/node2/bin/mongodb.conf >./logs/config-node2.log 2>&1 &
nohup  ./config/node3/bin/mongod -f ./config/node3/bin/mongodb.conf >./logs/config-node3.log 2>&1 &
nohup  ./mongos/bin/mongos --configdb shardingConfig/192.168.31.41:27022,192.168.31.41:27023,192.168.31.41:27024 --port 27025 --logpath=/usr/local/mongodb/sharding/mongos/log/mongodb.logs >./logs/mongos.log 2>&1 &

停止脚本stop-sharding-mongo.sh应该是这样的：

ps -ef|grep mongos | awk '{print($2)}' |xargs kill -9
./cluster/sharding1/bin/mongod --shutdown -f ./cluster/sharding1/bin/mongodb.conf
./cluster/sharding3/bin/mongod --shutdown -f ./cluster/sharding3/bin/mongodb.conf
./cluster/sharding2/master/bin/mongod --shutdown -f ./cluster/sharding2/master/bin/mongodb.conf
./cluster/sharding2/slave1/bin/mongod --shutdown -f ./cluster/sharding2/slave1/bin/mongodb.conf
./cluster/sharding2/slave2/bin/mongod --shutdown -f ./cluster/sharding2/slave2/bin/mongodb.conf
./config/node1/bin/mongod --shutdown -f ./config/node1/bin/mongodb.conf
./config/node2/bin/mongod --shutdown -f ./config/node2/bin/mongodb.conf
./config/node3/bin/mongod --shutdown -f ./config/node3/bin/mongodb.conf

分片注意点和建议

分片注意点

  • 热点 ：某些分片键会导致所有的读或者写请求都操作在单个数据块或者分片上，导致单个分片服务器严重不堪重负。自增长的分片键容易导致写热点问题

  • 不可分割数据块：过于粗粒度的分片键可能导致许多文档使用相同的分片键，这意味着这些文档不能被分割为多个数据块，限制了mongoDB均匀分布数据的能力

  • 查询障碍：分片键与查询没有关联，造成糟糕的查询性能

分片建议

  • 不要使用自增长的字段作为分片键，避免热点问题

  • 不能使用粗粒度的分片键，避免数据块无法分割

  • 不能使用完全随机的分片键值，造成查询性能低下

  • 使用与常用查询相关的字段作为分片键，而且包含唯一字段（如业务主键,id等）

  • 索引对于分区同样重要，每个分片集合上要有同样的索引，分片键默认成为索引。分片集合只允许在id和分片键上创建唯一索引

达龙猫
关注
专栏目录
MongoDB4.2分片及副本集群搭建
04-21
MongoDB4.2分片及副本集群搭建 MongoDB集群 MongoDB分片 MongoDB副本 MongoDB副本集群
MongoDB从入门到实战（十四）：分片集群(水平扩展)
人不风流枉少年
08-22 1508
本篇文章介绍在一台Windows机器上配置分片集群，这里使用的mongodb的版本是v3.4.6, 如果版本太老下面的配置步骤可能无效甚至shell命令语法会报错 1.模拟多台机器分片需要多台机器，这里为了在一台机器上来模拟多台机器，需要使用多个MongoDB, 如图，复制MongoDB的安装文件复制多份2. 以副本集方式启动3台配置服务器这里分别使用MongoDB4、MongoDB5、MongoD
MongoDB分片原理篇
2401_84048521的博客
04-16 748
由于细节内容实在太多了，为了不影响文章的观赏性，只截出了一部分知识点大致的介绍一下，每个小节点里面都有更细化的内容！小编准备了一份Java进阶学习路线图（Xmind）以及来年金三银四必备的一份《Java面试必备指南》《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！a面试必备指南》**[外链图片转存中…(img-CvP6xLMW-1713225401225)]《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》
mongodb集群
最新发布
m0_66925868的博客
10-08 1452
分片键（Shard Key）: 首先，你需要选择一个分片键，这通常是文档中的一个字段或多个字段的组合。分片键用于确定文档应该存储在哪个分片上。数据分裂（Splitting）: 当文档被插入到一个分片中时，如果该分片上的数据量达到一定阈值（由chunkSize控制），那么这个分片就会被分裂成两个或更多的新分片。数据迁移（Migration）: 分片集群中的平衡器（balancer）会监控数据分布，并自动将分片从一个分片移动到另一个分片，以保持数据的均衡分布。
mongodb 基本原理：分片（Sharding）
guangyacyb的博客
02-16 4802
分片是将数据分布在多台机器的方法。MongoDB 使用分片来提供海量数据的部署和高吞吐操作 . 这种数据库系统可以挑战单服务器的最高容量，例如高频率的查询可以将服务器的cpu容量发挥到极致。超出系统内存的数据集则会充分调用磁盘的IO。 面对系统扩充有两种方法：垂直扩展和水平扩展 垂直扩展 提高单台服务器的容量，例如使用更强的cpu，加内存，存储空间。技术的局限限制了单台机器面对高负载的能...
MongoDB 分片集的基本概念
小楠的博客
06-03 764
MongoDB 分片集的基本概念
MongoDB分片集群原理、搭建及测试详解
道可道非常道
12-19 551
随着技术的发展，目前数据库系统对于海量数据的存储和高效访问海量数据要求越来越高，MongoDB分片机制就是为了解决海量数据的存储和高效海量数据访问而生。 MongoDB分片集群由mongos路由进程(轻量级且非持久化进程)、复制集组成的片shards(分片一般基于复制集故障转移和冗余备份功能)、一组配置服务器(存储元数据信息，一般冗余3台)构成。 一、部署MongoDB分片集群 mongod参数...
MongoDB分片集群部署详解
09-09
本篇文章将详细阐述MongoDB分片集群的部署过程和相关概念。 首先，理解分片集群的基本构成。MongoDB的分片集群由三个主要部分组成：mongos路由服务器、config servers配置服务器以及shards存储节点。mongos负责...
MongoDB的分片集群基本配置教程
09-10
本教程将详细讲解MongoDB分片集群的基本配置步骤。 首先，了解为何需要进行数据分片。分片的主要目标是解决单个服务器的性能瓶颈，包括处理能力（请求量）和存储空间。通过分片，可以减少单台服务器的负载，提高...
mongodb分片集群增加acl
03-15
MongoDB分片集群是一种分布式数据存储结构，可以实现水平扩展。分片集群由三部分组成：mongos路由服务器、config配置服务器和多个分片节点。mongos作为路由服务器，负责接收客户端请求并将其转发到正确的分片。...
MongoDB分片集群架构详解
持续学习，坚持原创，分享技术笔记及经验。
01-08 1932
MongoDB分片集群架构详解
MongoDB分片集群(sharded cluster)搭建过程
热门推荐
duanbeibei的专栏
04-16 1万+
1.分片集群概述 MongoDB分片集群，英文名称为： Sharded Cluster 旨在通过横向扩展，来提高数据吞吐性能、增大数据存储量。 分片集群由三个组件：“mongos”, “config server”, “shard” 组成。 框架如下（图片来自mongodb官网说明）： mongos:数据库请求路由。负责接收所有客户端应用程序的连接查询请求，并将请求路由到集群内部对应的分片上。...
使用 Docker 部署高可用 MongoDB 分片集群
github_38616039的博客
11-01 2498
首先我们先来了解一下 Mongo 集群的概念，Mongo 集群有 3 个主要组件 Mongos、ConfigServer、Shard，Mongos 是一个路由，他们的信息都存储在 ConfigServer 中，我们通过 Mongos 进行添加，然后根据条件将数据进行分片到分片的副本集中。
实战：MongoDB 分片集群Shard Cluster 搭建（1台路由节点，3台配置节点，9台分片节点）
chuanchengdabing的博客
09-25 3896
MongoDB 分片集群搭建 一、搭建要求 一台路由节点 IP地址：192.168.80.110 端口：11111 三套复制集（每个分片节点中的复制集 都需要有仲裁节点） IP地址： 192.168.80.55 ， 端口：15555/15556/15557 IP地址： 192.168.80.56 ， 端口：15555/15556/15557 IP地址： 192.168.80.57 ， 端口：15555/15556/15557 一
基于docker的mongodb分片集群
单俞浩的博客
06-12 1932
基于docker的mongodb分片集群
docker mongodb分片集群
码农的专栏
12-06 1551
docker mongodb分片集群
MongoDB和MongoDB Compass的安装配置教程
nikolas的博客
01-05 6214
MongoDB和MongoDB Compass的安装配置教程
docker搭建mongo分片集群
littleschemer的博客
06-23 1172
MongoDB分片集，可以实现数据库的水平拓展，提供更大的存储容量和处理能力。分片集还提供了高可用性和冗余备份，以及更好的负载均衡和查询性能。本文演示如何通过docker部署分片集。
手把手教你搭建MongoDB分片式部署集群+实战
Executing_的博客
11-17 5991
MongoDB分片式集群部署实战，构建一个MongoDB的分片集群，需要三个重要组件，分别是分片服务器（Shard Server）、配置服务器（Config Server）、路由服务器（Router Server）。
CentOS7上MongoDB分片集群安装步骤
"本文档详述了在CentOS7环境下安装MongoDB分片集群的步骤，包括系统需求、服务器规划、端口分配以及集群搭建的具体操作。提供的安装包为mongodb-linux-x86_64-rhel70-3.6.4.tgz，涉及的IP地址包括10.10.2.78、10.10....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值