MongoDB的分片集群(二) ：mongodb4.x分片集群离线搭建&开启安全认证

最新推荐文章于 2024-05-06 16:38:33 发布
最新推荐文章于 2024-05-06 16:38:33 发布
阅读量1.5k 收藏 11
点赞数 30
分类专栏： 数据库 文章标签： mongodb 数据库 分片集群 数据库集群 数据库安全
©著作权归作者所有：来自CSDN博客作者SRE成长记原创作品，请联系作者获取转载授权，否则将追究法律责任
本文链接：https://blog.csdn.net/WF_crystal/article/details/136040833
版权

转载说明：如果您喜欢这篇文章并打算转载它，请私信作者取得授权。感谢您喜爱本文，请文明转载，谢谢。

相关文章：

MongoDB的分片集群(一) : 基础知识

在《MongoDB的分片集群(一) : 基础知识》中梳理了分片集群的基础知识，本文则记录分片集群的离线搭建，并开启集群的安全认证的过程。

这是一篇结合自己踩过的坑，总结的笔记教程。

环境规划及准备

测试服务器数量：3台

测试服务器系统：centos7

mongodb版本：4.4.7（官网下载）

IP hostname部署内容
10.0.0.1mongodb01mongos,config,shard1,shard2,shard3
10.0.0.2mongodb02mongos,config,shard1,shard2,shard3
10.0.0.3mongodb03mongos,config,shard1,shard2,shard3

将离线安装包mongodb-linux-x86_64-rhel70-4.4.7.tgz上传到服务器mongodb01，并在三台主机均添加hosts解析：

10.0.0.1 mongodb01
10.0.0.2 mongodb02
10.0.0.3 mongodb03

集群部署

1. 集群节点配置

包含mongos、config、shard1、shard2、shard3五个集群部署步骤。

1.1 在mongodb01准备集群环境

1.1.1 创建相关目录，安装mongodb集群
# mkdir -p /home/mongodb/cluster/{config,mongos,shard1,shard2,shard3}/{data,logs}
# tar xf mongodb-linux-x86_64-rhel70-4.4.7.tgz
# mv mongodb-linux-x86_64-rhel70-4.4.7 /home/mongodb/mongodb-4.4.7
1.1.2 创建配置文件

1）创建config集群配置文件：

[root@mongodb01 config]# cat /home/mongodb/cluster/config/mongod.conf
# where to write logging data.
systemLog:
destination: file
logAppend: true
path: /home/mongodb/cluster/config/logs/mongod.log
# Where and how to store data.
storage:
dbPath: /home/mongodb/cluster/config/data
journal:
enabled: true
# how the process runs
processManagement:
fork: true
timeZoneInfo: /usr/share/zoneinfo
pidFilePath: /home/mongodb/cluster/config/mongod.pid
# network interfaces
net:
port: 27018
  bindIp: mongodb01
replication:
replSetName: test
sharding:
clusterRole: configsvr

2）创建shard1配置文件：

[root@mongodb01 shard1]# cat /home/mongodb/cluster/shard1/mongod.conf
# where to write logging data.
systemLog:
destination: file
logAppend: true
path: /home/mongodb/cluster/shard1/logs/mongod.log

# Where and how to store data.
storage:
dbPath: /home/mongodb/cluster/shard1/data
journal:
enabled: true
# how the process runs
processManagement:
fork: true
timeZoneInfo: /usr/share/zoneinfo
pidFilePath: /home/mongodb/cluster/shard1/mongod.pid
# network interfaces
net:
port: 27019
  bindIp: mongodb01
replication:
  replSetName: shard1
sharding:
clusterRole: shardsvr

3）创建shard2配置文件：

[root@mongodb01 shard2]# cat /home/mongodb/cluster/shard2/mongod.conf
# where to write logging data.
systemLog:
destination: file
logAppend: true
path: /home/mongodb/cluster/shard2/logs/mongod.log

# Where and how to store data.
storage:
dbPath: /home/mongodb/cluster/shard2/data
journal:
enabled: true
# how the process runs
processManagement:
fork: true
timeZoneInfo: /usr/share/zoneinfo
pidFilePath: /home/mongodb/cluster/shard2/mongod.pid
# network interfaces
net:
port: 27020
  bindIp: mongodb01
replication:
  replSetName: shard2 
sharding:
clusterRole: shardsvr

4）创建shard2配置文件：

[root@mongodb01 shard3]# cat /home/mongodb/cluster/shard3/mongod.conf
# where to write logging data.
systemLog:
destination: file
logAppend: true
path: /home/mongodb/cluster/shard3/logs/mongod.log

# Where and how to store data.
storage:
dbPath: /home/mongodb/cluster/shard3/data
journal:
enabled: true
# how the process runs
processManagement:
fork: true
timeZoneInfo: /usr/share/zoneinfo
pidFilePath: /home/mongodb/cluster/shard3/mongod.pid
# network interfaces
net:
port: 27021
  bindIp: mongodb01
replication:
  replSetName: shard3
sharding:
clusterRole: shardsvr

5）创建mongos配置文件：

[root@mongodb01 mongos]# cat /home/mongodb/cluster/mongos/mongod.conf
  # where to write logging data.
systemLog:
destination: file
logAppend: true
path: /home/mongodb/cluster/mongos/logs/mongod.log

# how the process runs
processManagement:
fork: true
timeZoneInfo: /usr/share/zoneinfo
pidFilePath: /home/mongodb/cluster/mongos/mongod.pid

# network interfaces
net:
port: 27017
  bindIp: mongodb01
sharding:
configDB: test/mongodb01:27018,mongodb02:27018,mongodb03:27018   #test是指在config配置文件中的replSetName: test
1.1.3 分发配置文件到mongodb02和mongodb03
# scp -r /home/mongodb/ root@mongodb02:/home/
# scp -r /home/mongodb/ root@mongodb03:/home/

1.2 另外两台主机配置

1.2.1 修改配置文件

在mongodb02执行修改：

# find /home/mongodb/cluster/ -type f -name "*.conf" -exec sed -i 's#bindIp: mongodb01#bindIp: mongodb02#g' {} +
# grep -nr "bindIp: mongodb02" /home/mongodb/cluster/

在mongodb03执行修改：

# find /home/mongodb/cluster/ -type f -name "*.conf" -exec sed -i 's#bindIp: mongodb01#bindIp: mongodb03#g' {} +
# grep -nr "bindIp: mongodb03" /home/mongodb/cluster/
1.2.2 三台主机配置环境变量
# echo "export PATH=/home/mongodb/mongodb-4.4.7/bin:\$PATH" >>/etc/profile
# source /etc/profile

2. 依次启动集群并初始化

顺序为先启动并初始化config，其次是分片集群，最后是mongos

2.1 启动并初始化config集群

2.1.1 启动config

在三台主机均运行命令：

# mongod -f /home/mongodb/cluster/config/mongod.conf
2.1.2 初始化config集群

在mongodb01服务器登录到config，进行初始化：

[root@mongodb01 ~]# mongo --host mongodb01 --port 27018 #登录到config后，执行后面2条命令
#初始化集群
rs.initiate(
  {
    _id: "test",
    configsvr: true,
    members: [
      { _id : 0, host : "mongodb01:27018" },
      { _id : 1, host : "mongodb02:27018" },
      { _id : 2, host : "mongodb03:27018" }
    ]
  }
)

rs.status()  #查看集群状态

2.2 启动并初始化3个shard分片集群

2.2.1 启动shard集群节点

三个节点每个节点执行以下命令启动3个shard分片副本集节点

# mongod -f /home/mongodb/cluster/shard1/mongod.conf
# mongod -f /home/mongodb/cluster/shard2/mongod.conf
# mongod -f /home/mongodb/cluster/shard3/mongod.conf
2.2.2 初始化shard集群

1）连接到第一个分片shard1初始化：

[root@mongodb01 ~]# mongo --host mongodb01 --port 27019 #登录到shard1，执行后面的命令
rs.initiate(
  {
    _id: "shard1",
    members: [
      { _id : 0, host : "mongodb01:27019" },
      { _id : 1, host : "mongodb02:27019" },
      { _id : 2, host : "mongodb03:27019" }
    ]
  }
)
> rs.status()  #查看集群状态

##在PRIMARY节点创建管理员账号：
> use admin
> db.createRole({role:'sysadmin',roles:[],privileges:[{resource:{anyResource:true},actions:['anyAction']}]});
> db.createUser({user:'root',pwd:'root@Sre2023',roles:[{role:'sysadmin',db:'admin'}]});

2）连接到第二个分片shard2初始化：

[root@mongodb01 ~]# mongo --host mongodb01 --port 27020 #登录到shard2，执行后面的命令
rs.initiate(
  {
    _id: "shard2",
    members: [
      { _id : 0, host : "mongodb01:27020" },
      { _id : 1, host : "mongodb02:27020" },
      { _id : 2, host : "mongodb03:27020" }
    ]
  }
)
> rs.status()       #查看集群状态

##在PRIMARY节点创建管理员账号：
> use admin
> db.createRole({role:'sysadmin',roles:[],privileges:[{resource:{anyResource:true},actions:['anyAction']}]});
> db.createUser({user:'root',pwd:'root@Sre2023',roles:[{role:'sysadmin',db:'admin'}]});

3）连接到第一个分片shard3初始化：

[root@mongodb01 ~]# mongo --host mongodb01 --port 27021  #登录到shard3，执行后面的命令
rs.initiate(
  {
    _id: "shard3",
    members: [
      { _id : 0, host : "mongodb01:27021" },
      { _id : 1, host : "mongodb02:27021" },
      { _id : 2, host : "mongodb03:27021" }
    ]
  }
)
> rs.status()

#在PRIMARY节点创建管理员账号：
> use admin
> db.createRole({role:'sysadmin',roles:[],privileges:[{resource:{anyResource:true},actions:['anyAction']}]});
> db.createUser({user:'root',pwd:'root@Sre2023',roles:[{role:'sysadmin',db:'admin'}]});

2.3 启动并初始化mongos

2.3.1 在3个节点启动mongos-router
# mongos -f /home/mongodb/cluster/mongos/mongod.conf #注意是mongos不是mongod，否则会报错Unrecognized option: sharding.configDB
2.3.2 连接到第一个mongos节点初始化，将三个分片集群加入mongos
[root@mongodb01 ~]# mongo --host mongodb01 --port 27017
> sh.addShard( "shard1/mongodb01:27019,mongodb02:27019,mongodb03:27019");
> sh.addShard( "shard2/mongodb01:27020,mongodb02:27020,mongodb03:27020");
> sh.addShard( "shard3/mongodb01:27021,mongodb02:27021,mongodb03:27021");
> sh.status()

# 创建管理员账号：
> use admin
> db.createRole({role:'sysadmin',roles:[],privileges:[{resource:{anyResource:true},actions:['anyAction']}]});
> db.createUser({user:'root',pwd:'root@Sre2023',roles:[{role:'sysadmin',db:'admin'}]});

3. 测试分片集群

3.1 创建测试数据

[root@mongodb01 ~]# mongo --host mongodb01 --port 27017  #登录mongos进行后面的操作
> use sre  #创建一个新的db
> sh.enableSharding("sre")  #为sre数据库启用分片
> sh.shardCollection("sre.table1", {"_id": "hashed" }) #为table1集合设置分片规则

##插入1000条数据验证
> for (i = 1; i <= 1000; i=i+1){db.table1.insert({'book': 1})}

#查看插入的数据量
> db.table1.find().count()

#查看table1在3个分片集群的分片情况，包括data、docs、chunk数据：
> db.table1.getShardDistribution()

3.2 验证数据

访问3个分片集群，查看各自存储的数据量是否与上一步看到的一致(现在还没有开启安全认证，无论是否使用管理员账号密码登录，都能正常看到数据)。

查看shard1：

[root@mongodb01 ~]# mongo --host mongodb01 --port 27019
shard1:PRIMARY> show dbs;
admin 0.000GB
config 0.001GB
local 0.001GB
sre 0.000GB
shard1:PRIMARY> use sre
switched to db sre
shard1:PRIMARY> show collections;
table1
shard1:PRIMARY> db.table1.find().count()
336   #核对此数据
shard1:PRIMARY>

查看shard2：

[root@mongodb01 ~]# mongo --host mongodb01 --port 27020
shard2:PRIMARY> show dbs
admin 0.000GB
config 0.001GB
local 0.001GB
sre 0.000GB
shard2:PRIMARY> use sre
switched to db sre
shard2:PRIMARY> show collections;
table1
shard2:PRIMARY> db.table1.find().count()
318 #核对此数据
shard2:PRIMARY>

查看shard3：

[root@mongodb01 ~]# mongo --host mongodb01 --port 27021
shard3:PRIMARY> show dbs;
admin 0.000GB
config 0.001GB
local 0.001GB
sre 0.000GB
shard3:PRIMARY> use sre
switched to db sre
shard3:PRIMARY> show collections;
table1
shard3:PRIMARY> db.table1.find().count()
346  #核对此数据
shard3:PRIMARY>

4. 开启安全认证

4.1 创建keyfile

在mongodb01服务器创建keyfile

# openssl rand -base64 756 > /home/mongodb/cluster/test_keyfile.file
# chmod 400 /home/mongodb/cluster/test_keyfile.file

4.2 分发keyfile

分发到mongodb02和mongodb03，并检查确保文件权限为400：

# scp /home/mongodb/cluster/test_keyfile.file root@mongodb02:/home/mongodb/cluster/
# scp /home/mongodb/cluster/test_keyfile.file root@mongodb03:/home/mongodb/cluster/

4.3 停止所有集群节点

每个节点依次关闭mongod和mongos

# killall mongod
# killall mongos

4.4 修改配置文件

每一个config节点和shard节点配置文件mongod.conf添加以下内容：

security:
 keyFile: /home/mongodb/cluster/test_keyfile.file
 authorization: enabled

在每个mongos节点添加以下内容：

security:
 keyFile: /home/mongodb/cluster/test_keyfile.file

mongos比mongod少了authorization：enabled的配置，原因是:

副本集加分片的安全认证需要配置两方面的，副本集各个节点之间使用内部身份验证，用于内部各个mongo实例的通信，只有相同keyfile才能相互访问。所以都要开启keyFile: /home/mongodb/cluster/test_keyfile.file

然而mongod保存数据的分片。mongos只做路由，不保存数据。所以所有的mongod开启访问数据的授权authorization:enabled。这样用户只有账号密码正确才能访问到数据。

4.5 服务启动

三台服务器依次启动config、shard分片集群和mongos：

# mongod -f /home/mongodb/cluster/config/mongod.conf
# mongod -f /home/mongodb/cluster/shard1/mongod.conf
# mongod -f /home/mongodb/cluster/shard2/mongod.conf
# mongod -f /home/mongodb/cluster/shard3/mongod.conf
# mongos -f /home/mongodb/cluster/mongos/mongod.conf

此时必须使用账号密码登录，才能看到数据了：

###登录mongos
mongo --host mongodb01 --port 27017 -u "root" -p"root@Sre2023" --authenticationDatabase "admin"

###登录shard分片集群
mongo --host mongodb01 --port 27019 -u "root" -p"root@Sre2023" --authenticationDatabase "admin"
mongo --host mongodb01 --port 27020 -u "root" -p"root@Sre2023" --authenticationDatabase "admin"
mongo --host mongodb01 --port 27021 -u "root" -p"root@Sre2023" --authenticationDatabase "admin"

再次按照3. 测试分片集群中测试数据分片，成功。

5. 几个命令

mongos> use sre
mongos> db.table1.stats().sharded  #查看table1是否分片
true  #true表示已经开启分片，如果集合没有开启分片，会返回：Collection sre.sre.table4 is not sharded.
mongos> 
mongos> db.table1.stats().shards   #查询分片的详细状态数据，db.table1.stats()返回的数据更多
##返回非常详细的数据
mongos> db.table1.getShardDistribution()  #在mongo上查看数据分布

踩过的坑：

之前在网上看过很多文章，大都是没有做安全认证；有部分文章做了安全认证，但是只在mongos上创建了管理员账号，shard集群没有创建。

这样的集群等创建好之后，无账号登录shard分片集群会发现看不到db了；用mongos创建的账号又无法登录shard集群。所以创建管理员账号，需要mongos和shard集群都创建，才能正常看到数据。

SRE成长记
关注
  • 30
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
13、MongoDB分片集群&高级集群架构详解-ev.rar
03-08
13、MongoDB分片集群&高级集群架构详解_ev.rar13、MongoDB分片集群&高级集群架构详解_ev.rar13、MongoDB分片集群&高级集群架构详解_ev.rar13、MongoDB分片集群&高级集群架构详解_ev.rar13、MongoDB分片集群&高级集群...
MongoDB的分片集群(三) ：mongodb6.x分片集群离线搭建&开启安全认证
SRE成长记
03-04 1181
MongoDB的分片集群(三) ：mongodb6.x分片集群离线搭建&开启安全认证
『MongoDB』MongoDB高可用部署架构——分片集群篇（Sharding）
老陈聊架构
03-23 2944
📣读完这篇文章里你能收获到，为什么要使用分片吗， Mongodb分片集群有哪些特点了， Mongodb分片集群的完整架构，Mongodb分片集群数据分布方式， Mongodb分片集群的设计思路， Mongodb分片集群搭建及扩容...
MongoDB 4.2 分片集群搭建
琪琪的博客
01-29 1835
1 部署结构 1.1 集群结构 典型的三分片Mongo集群如下图所示，包含三类组件：查询路由、配置服务器、分片。其中查询路由为mongos进程，配置服务器和分片都是mongod进程。配置服务器和分片都采取副本集（replica set）来确保可用性和健壮性，每个副本集最少包含三个节点。查询路由都是单实例运行，没有副本集机制，可根据需要增加实例数量，也可以在外部添加负载均衡。 上图中每个方框仅代表功能集合，不代表物理位置。实际部署时，为了避免单点故障，同一个副本集中的成员，应该部署在不同主机上...
MongoDB分片集群搭建
weixin_42575078的博客
11-15 478
mongodb的数据角色搭建，配置文件/data/mongodb-fenpiancluster/29017/mongodb.conf，另外三台也这么写，由于资源不足，把zmhdata2的副本集都放在了192.167.100.183上。mongodb分片技术能够把数据分成两份存储，假如shijiange.myuser里面有1亿条数据，分片能够实现5千万左右存储在data1，5千万左右存储在data2。shardsvr角色 #mongodb的存储角色，存储真正的数据，建议使用副本集。
手把手教你搭建MongoDB分片式部署集群+实战
Executing_的博客
11-17 3107
MongoDB分片式集群部署实战，构建一个MongoDB的分片集群，需要三个重要组件，分别是分片服务器（Shard Server）、配置服务器（Config Server）、路由服务器（Router Server）。
MongoDB分片集群shard扩缩容
三思的博客
04-13 2363
文章目录一、分片shard节点缩容二、分片shard节点扩容 一、分片shard节点缩容 Mongodb分片集群shard节点缩容相对是比较简单的，可以利用MongoDB自身的平衡器来将预下线中的分片中存储的数据进行转移，待预下线shard节点中无任何数据库，进行下线处理。所有的下线操作通过mongos进行管理实现。 1、查看分片集群是否开启平衡器 mongos> sh.getBalancerState() true 2、发起删除分片节点命令，平衡器开始自动迁移数据 -- 查看当前集群状态 mong
mongodb分片集群搭建
ApexPredator的博客
05-06 1075
mongodb分片集群搭建
搭建mongodb分布式集群(分片集群+keyfile安全认证以及用户权限)
qq_27480007的博客
09-03 2760
分片（sharding）是指将数据库拆分，将其分散在不同的机器上的过程。将数据分散到不同的机器上，不需要功能强大的服务器就可以存储更多的数据和处理更大的负载。基本思想就是将集合切成小块，这些块分散到若干片里，每个片只负责总数据的一部分，最后通过一个均衡器来对各个分片进行均衡（数据迁移）。通过一个名为mongos的路由进程进行操作，mongos知道数据和片的对应关系（通过配置服务器）。大部分使用场景都是解决磁盘空间的问题，对于写入有可能会变差（+++里面的说明+++），查询则尽量避免跨分片查询。
【MongoDB】集群搭建实战 | 副本集 Replica-Set | 分片集群 Shard-Cluster | 安全认证
Cauchy的博客
11-05 1567
【MongoDB】集群搭建实战 | 副本集 Replica-Set | 分片集群 Shard-Cluster | 安全认证
MongoDB4.2分片及副本集群搭建
04-21
MongoDB4.2分片及副本集群搭建 MongoDB集群 MongoDB分片 MongoDB副本 MongoDB副本集群
centos7下mongodb4.0.6分片集群搭建(psa)-用户认证关键问题汇总
04-08
公司单节点升级到分片下，搜索了一圈大多数MongoDB集群的部署方案都是分片+副本集，没有讲述如何从单节点升级到分片+复制集的方法，亲自试验后记录整个过程以及中间的参考内容和疑难解决，以备后查。内容包含复制集+...
MongoDB企业级分片集群搭建-视频教程网盘链接提取码下载 .txt
06-05
MongoDB分片集群技术用于解决海量数据的存储问题；而MongoDB副本集是一组维护相同数据集的mongod服务。由此可以看出课程的内容将带领同学们进行MongoDB容灾备份方面的实战，通过MongoDB分片集群技术和MongoDB副本集...
mongodb（分片+副本）集群部署文档.docx
09-04
mongos，数据库集群请求的入口，所有的请求都通过mongos进行协调，不需要在应用程序添加一个路由选择器，mongos自己就是一个请求分发中心，它负责把对应的数据请求请求转发到对应的shard服务器上。在生产环境通常有...
Docker安装并配置Mongodb 6.0单机复制集
one2threexm的专栏
05-01 492
初始化复制配置#创建数据目录。#安装mongodb-6.0。#切换到admin数据库。#生成keyfile。
Node.js -- MongoDB
2302_79523175的博客
05-02 1320
一、简介Mongodb是什么MongoDB是一个基于分布式文件存储的数据库，官方地址https://www.mongodb.com/try/download/community数据库是什么数据库(DataBase)是按照数据结构来组织、存储和管理数据的应用程序数据库的作用数据库的主要作用就是管理数据，对数据进行增(c)删(d)改(u)查(r)数据库管理数据的特点速度更快扩展性更强安全性更强为什么选择Mongodb操作语法与JavaScript类似，容易上手，学习成本低。
MongoDB 数据库分片
最新发布
nbspzs的专栏
05-06 226
需要注意的是，MongoDB的分片架构需要一些复杂的配置和管理，特别是在大型生产环境中。因此，建议在进行分片之前深入了解MongoDB的分片策略和最佳实践，并且可能需要专业的数据库管理员（DBA）或开发团队来支持和管理分片集群。MongoDB的分片（Sharding）是一种横向扩展数据库的方法，允许在集群中分布数据以支持更大的数据量和更高的吞吐量。这个过程是逐步的，根据分片键将数据移动到合适的Shard上。选择一个合适的分片键非常重要，它应该是经常被查询的字段，并且能够均匀地分布数据。
MongoDB聚合运算符：$toDouble
superatom01的博客
05-06 579
摘要：`$toDouble`聚合运算符将指定的值转换为Double类型。如果指定的值为空或缺失，则返回null；如果值无法被转换为Double，则报错。
mongodb分片集群用户认证
12-15
MongoDB分片集群是基于分布式架构的数据库系统，为了保护数据的安全性，用户认证是非常重要的一环。在MongoDB分片集群中，用户认证可以通过以下方式实现： 首先，我们需要创建管理员用户，管理员用户具有对数据库...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值