mongodb4.4集群搭建

已于 2022-04-15 15:29:00 修改
阅读量1.2k 收藏 2
点赞数 1
分类专栏： Data Storage mongodb 文章标签： mongodb
于 2022-04-14 17:08:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LW_GHY/article/details/124175533
版权

环境

CentOS7、MongoDB-4.4.13

端口/角色mongosconfigsvrshard1shard2shard3
192.168.56.155270172701929017(主节点)29018(仲裁节点)29019(副节点)
192.168.56.156270172701929017(副节点)29018(主节点)29019(仲裁节点)
192.168.56.157270172701929017(仲裁节点)29018(副节点)29019(主节点)

配置文件

  1. 创建目录（三台服务器执行相同操作）
mkdir -p ./mongodb/{data,logs,apps,run}
mkdir -p ./mongodb/data/shard{1,2,3}
mkdir -p ./mongodb/data/config
mkdir -p ./mongodb/conf
mkdir -p /tmp/mongodb/configsvr
mkdir -p /tmp/mongodb/shard1
mkdir -p /tmp/mongodb/shard2
mkdir -p /tmp/mongodb/shard3
mkdir -p /tmp/mongodb/mongos
  • Keyfile Security
    • Enforce Keyfile Access Control on Existing Replica Set. Create a keyfile:
openssl rand -base64 756 > /home/bigdata/env/mongodb/conf/mongodb.key
chmod 400 /home/bigdata/env/mongodb/conf/mongodb.key
  1. 创建配置文件（三台服务器执行相同操作）
    创建configsvr.yml配置文件：
vim ./mongodb/conf/configsvr.yml

内容如下：

systemLog:
  destination: "file"
  logAppend: true
  path: "/home/bigdata/env/mongodb/logs/configsvr.log"
storage:
  dbPath: "/home/bigdata/env/mongodb/data/config"
  journal:
    enabled: true
  engine: "wiredTiger"
  wiredTiger:
    engineConfig:
      directoryForIndexes: true
      cacheSizeGB: 2
processManagement:
  fork: true
  pidFilePath: "/home/bigdata/env/mongodb/run/configsvr.pid"
  timeZoneInfo: "/usr/share/zoneinfo"
net:
  port: 27019
  bindIp: "::,0.0.0.0"
  maxIncomingConnections: 5000
  unixDomainSocket:
    enabled: true
    pathPrefix: "/tmp/mongodb/configsvr"
    filePermissions: 0700
setParameter:
  enableLocalhostAuthBypass: true
security:
  clusterAuthMode: "keyFile"
  keyFile: "/home/bigdata/env/mongodb/conf/mongodb.key"
  authorization: "enabled"
replication:
  replSetName: "replCluster"
sharding:
  clusterRole: "configsvr"

创建shard配置文件：

vim ./mongodb/conf/shard1.yml

内容如下：

systemLog:
  destination: "file"
  logAppend: true
  path: "/home/bigdata/env/mongodb/logs/shard1.log"
storage:
  dbPath: "/home/bigdata/env/mongodb/data/shard1"
  journal:
    enabled: true
  engine: "wiredTiger"
  wiredTiger:
    engineConfig:
      directoryForIndexes: true
      cacheSizeGB: 2
processManagement:
  fork: true
  pidFilePath: "/home/bigdata/env/mongodb/run/shard1.pid"
  timeZoneInfo: "/usr/share/zoneinfo"
net:
  port: 29017
  bindIp: "::,0.0.0.0"
  maxIncomingConnections: 5000
  unixDomainSocket:
    enabled: true
    pathPrefix: "/tmp/mongodb/shard1"
    filePermissions: 0700
setParameter:
  enableLocalhostAuthBypass: true
security:
  clusterAuthMode: "keyFile"
  keyFile: "/home/bigdata/env/mongodb/conf/mongodb.key"
  authorization: "enabled"
replication:
  replSetName: "shard1"
sharding:
  clusterRole: "shardsvr"

vim ./mongodb/conf/shard2.yml

内容如下：

systemLog:
  destination: "file"
  logAppend: true
  path: "/home/bigdata/env/mongodb/logs/shard2.log"
storage:
  dbPath: "/home/bigdata/env/mongodb/data/shard2"
  journal:
    enabled: true
  engine: "wiredTiger"
  wiredTiger:
    engineConfig:
      directoryForIndexes: true
      cacheSizeGB: 2
processManagement:
  fork: true
  pidFilePath: "/home/bigdata/env/mongodb/run/shard2.pid"
  timeZoneInfo: "/usr/share/zoneinfo"
net:
  port: 29018
  bindIp: "::,0.0.0.0"
  maxIncomingConnections: 5000
  unixDomainSocket:
    enabled: true
    pathPrefix: "/tmp/mongodb/shard2"
    filePermissions: 0700
setParameter:
  enableLocalhostAuthBypass: true
security:
  clusterAuthMode: "keyFile"
  keyFile: "/home/bigdata/env/mongodb/conf/mongodb.key"
  authorization: "enabled"
replication:
  replSetName: "shard2"
sharding:
  clusterRole: "shardsvr"

vim ./mongodb/conf/shard3.yml

内容如下：

systemLog:
  destination: "file"
  logAppend: true
  path: "/home/bigdata/env/mongodb/logs/shard3.log"
storage:
  dbPath: "/home/bigdata/env/mongodb/data/shard3"
  journal:
    enabled: true
  engine: "wiredTiger"
  wiredTiger:
    engineConfig:
      directoryForIndexes: true
      cacheSizeGB: 2
processManagement:
  fork: true
  pidFilePath: "/home/bigdata/env/mongodb/run/shard3.pid"
  timeZoneInfo: "/usr/share/zoneinfo"
net:
  port: 29019
  bindIp: "::,0.0.0.0"
  maxIncomingConnections: 5000
  unixDomainSocket:
    enabled: true
    pathPrefix: "/tmp/mongodb/shard3"
    filePermissions: 0700
setParameter:
  enableLocalhostAuthBypass: true
security:
  clusterAuthMode: "keyFile"
  keyFile: "/home/bigdata/env/mongodb/conf/mongodb.key"
  authorization: "enabled"
replication:
  replSetName: "shard3"
sharding:
  clusterRole: "shardsvr"

创建mongos.yml配置文件：

vim ./mongodb/conf/mongos.yml

内容如下：

systemLog:
  destination: "file"
  logAppend: true
  path: "/home/bigdata/env/mongodb/logs/mongos.log"
processManagement:
  fork: true
  pidFilePath: "/home/bigdata/env/mongodb/run/mongos.pid"
  timeZoneInfo: "/usr/share/zoneinfo"
net:
  port: 27017
  bindIp: "::,0.0.0.0"
  maxIncomingConnections: 5000
  unixDomainSocket:
    enabled: true
    pathPrefix: "/tmp/mongodb/mongos"
    filePermissions: 0700
setParameter:
  enableLocalhostAuthBypass: true
security:
  clusterAuthMode: "keyFile"
  keyFile: "/home/bigdata/env/mongodb/conf/mongodb.key"
replication:
  localPingThresholdMs: 15
sharding:
  # 出处的replCluster与configsvr.yml中replication.replSetName配置的名称保持一致
  configDB: "replCluster/192.168.56.155:27019,192.168.56.156:27019,192.168.56.157:27019"
  1. 启动configsvr服务（三台服务器执行相同操作）
./bin/mongod --config ./conf/configsvr.yml
ps -ef | grep mongod
  1. 连接一台服务器进行初始化
mongo localhost:27019
rs.initiate({_id: "replCluster", configsvr: true, members: [{_id: 0, host: "192.168.56.155:27019"},{_id: 1,host: "192.168.56.156:27019"},{_id: 2,host: "192.168.56.157:27019"}]})

rs.status()
  1. 部署shard1分片集群，启动shard1实例（三台服务器执行相同操作）
./bin/mongod --config ./conf/shard1.yml

netstat -ntlp | grep 29017
  1. 连接一台服务器进行初始化
./bin/mongo localhost:29017

rs.initiate({_id:"shard1",members:[{_id: 0, host: "192.168.56.155:29017"},{_id: 1,host: "192.168.56.156:29017"},{_id: 2,host: "192.168.56.157:29017"}]})

rs.status()
  1. 部署shard2分片集群，启动shard2实例（三台服务器执行相同操作）
./bin/mongod --config ./conf/shard2.yml

netstat -ntlp | grep 29018
  1. 连接一台服务器进行初始化
./bin/mongo localhost:29018

rs.initiate({_id:"shard2",members:[{_id: 0, host: "192.168.56.155:29018"},{_id: 1,host: "192.168.56.156:29018"},{_id: 2,host: "192.168.56.157:29018"}]})

rs.status()
  1. 部署shard3分片集群，启动shard3实例（三台服务器执行相同操作）
./bin/mongod --config ./conf/shard3.yml

netstat -ntlp | grep 29019
  1. 连接一台服务器进行初始化
./bin/mongo localhost:29019

rs.initiate({_id:"shard3",members:[{_id: 0, host: "192.168.56.155:29019"},{_id: 1,host: "192.168.56.156:29019"},{_id: 2,host: "192.168.56.157:29019"}]})

rs.status()
  1. 初始化mongos服务
[bigdata@server1 mongodb]$ ./bin/mongos --config ./conf/mongos.yml

[bigdata@server1 mongodb]$ mongo localhost:27017
MongoDB shell version v4.4.13
connecting to: mongodb://localhost:27017/test?compressors=disabled&gssapiServiceName=mongodb
Implicit session: session { "id" : UUID("cba0b6c8-9d2b-4e92-a003-ce9918223a3e") }
MongoDB server version: 4.4.13

mongos> admin = db.getSiblingDB("admin");
admin

# 1.Create the user administrator.
mongos> admin.createUser({user:"bigdata",pwd:passwordPrompt(),roles:[{role:"userAdminAnyDatabase",db:"admin"}]});
Enter password: 
Successfully added user: {
        "user" : "bigdata",
        "roles" : [
                {
                        "role" : "userAdminAnyDatabase",
                        "db" : "admin"
                }
        ]
}

# 2.Authenticate as the user administrator.
mongos> db.getSiblingDB("admin").auth("bigdata", passwordPrompt());
Enter password: 
1

mongos> db.getSiblingDB("admin").auth("bigdata", passwordPrompt());
Enter password: 
1

# 3.Create Administrative User for Cluster Management
mongos> db.getSiblingDB("admin").createUser({"user":"root","pwd":passwordPrompt(),roles:[{"role":"clusterAdmin","db":"admin"}]});
Enter password: 
Successfully added user: {
        "user" : "root",
        "roles" : [
                {
                        "role" : "clusterAdmin",
                        "db" : "admin"
                }
        ]
}

# 4.根据自己的需求在创建普通用户（不建议创建root权限的用户操作数据库，此处为了操作方便），例如，read或者readWrite权限的用户
mongos> db.getSiblingDB("admin").createUser({"user":"rootR","pwd":passwordPrompt(),roles:[{"role":"root","db":"admin"}]});
Enter password: 
Successfully added user: {
        "user" : "rootR",
        "roles" : [
                {
                        "role" : "root",
                        "db" : "admin"
                }
        ]
}

# 注意：以下都必须以集群管理员登录进行操作
# 5.添加分片到集群
[bigdata@server1 mongodb]$ mongo --host 192.168.56.155 --port 27017 -u "root" -p --authenticationDatabase "admin"
MongoDB shell version v4.4.13
Enter password: 
connecting to: mongodb://192.168.56.155:27017/?authSource=admin&compressors=disabled&gssapiServiceName=mongodb
Implicit session: session { "id" : UUID("bd854ccc-f760-4af6-a712-509dd81585ae") }
MongoDB server version: 4.4.13
mongos> sh.addShard("shard1/192.168.56.155:29017,192.168.56.156:29017,192.168.56.157:29017");
{
        "shardAdded" : "shard1",
        "ok" : 1,
        "operationTime" : Timestamp(1650002796, 1),
        "$clusterTime" : {
                "clusterTime" : Timestamp(1650002796, 2),
                "signature" : {
                        "hash" : BinData(0,"6je1jHemj/dE0M2sPxG3xi3PjSY="),
                        "keyId" : NumberLong("7086653264820699158")
                }
        }
}
mongos> sh.addShard("shard2/192.168.56.155:29018,192.168.56.156:29018,192.168.56.157:29018");
{
        "shardAdded" : "shard2",
        "ok" : 1,
        "operationTime" : Timestamp(1650002815, 4),
        "$clusterTime" : {
                "clusterTime" : Timestamp(1650002816, 1),
                "signature" : {
                        "hash" : BinData(0,"OiHUYO1fi84mfeULtyBwoANFWDg="),
                        "keyId" : NumberLong("7086653264820699158")
                }
        }
}
mongos> sh.addShard("shard3/192.168.56.155:29019,192.168.56.156:29019,192.168.56.157:29019");
{
        "shardAdded" : "shard3",
        "ok" : 1,
        "operationTime" : Timestamp(1650002830, 3),
        "$clusterTime" : {
                "clusterTime" : Timestamp(1650002830, 3),
                "signature" : {
                        "hash" : BinData(0,"jNnq1pEVcof6f2I5kWkI1XwiO14="),
                        "keyId" : NumberLong("7086653264820699158")
                }
        }
}
mongos> sh.status();
...
mongos> use test;
switched to db test

# 6.Enable Sharding for a Database
mongos> sh.enableSharding("test");
{
        "ok" : 1,
        "operationTime" : Timestamp(1650003031, 8),
        "$clusterTime" : {
                "clusterTime" : Timestamp(1650003031, 8),
                "signature" : {
                        "hash" : BinData(0,"iRupWfEEf1ZvYRwlXHeJRKydcHI="),
                        "keyId" : NumberLong("7086653264820699158")
                }
        }
}

# 7.Shard a Collection
mongos> sh.shardCollection("test.user",{"id":1});
{
        "collectionsharded" : "test.user",
        "collectionUUID" : UUID("fe314f66-2398-4717-9c87-25c31b03ed30"),
        "ok" : 1,
        "operationTime" : Timestamp(1650003207, 15),
        "$clusterTime" : {
                "clusterTime" : Timestamp(1650003207, 15),
                "signature" : {
                        "hash" : BinData(0,"o022Wlj2gD+KHDc5m+VYv7CnL2U="),
                        "keyId" : NumberLong("7086653264820699158")
                }
        }
}
  1. 集群启动脚本cluster.sh
vim ./mongodb/cluster.sh

#!/bin/sh

hosts=( server1 server2 server3 )

mongo_start(){
  source ~/.bashrc
  pre_mongod=`ps -ef | grep mongod | grep -v grep`
  pre_mongos=`ps -ef | grep mongos | grep -v grep`
  if [[ !$pre_mongod ]] && [[ !$pre_mongos ]]; then
    for host in ${hosts[@]}
    do
      echo "******** $host configsvr start... ********"
      ssh $host "mongod --config /home/bigdata/env/mongodb/conf/configsvr.yml"
    done
    sleep 2

    for host in ${hosts[@]}
    do
      echo "********** $host shard start... **********"
      ssh $host "mongod --config /home/bigdata/env/mongodb/conf/shard1.yml"
      ssh $host "mongod --config /home/bigdata/env/mongodb/conf/shard2.yml"
      ssh $host "mongod --config /home/bigdata/env/mongodb/conf/shard3.yml"
    done
    sleep 2

    for host in ${hosts[@]}
    do
      echo "********** $host mongos start... **********"
      ssh $host "mongos --config /home/bigdata/env/mongodb/conf/mongos.yml"
    done
  else
    echo "check whether the process has stopped!"
  fi
}

mongo_stop(){
  source ~/.bashrc
  for host in ${hosts[@]}
  do
    echo "************ $host mongos stop... ***********"
    ssh $host "cat /home/bigdata/env/mongodb/run/mongos.pid | xargs kill -15 "
  done
  sleep 3

  for host in ${hosts[@]}
  do
    echo "************ $host shard stop... ************"
    ssh $host "cat /home/bigdata/env/mongodb/run/shard1.pid | xargs kill -15 "
    ssh $host "cat /home/bigdata/env/mongodb/run/shard2.pid | xargs kill -15 "
    ssh $host "cat /home/bigdata/env/mongodb/run/shard3.pid | xargs kill -15 "
  done
  sleep 3

  for host in ${hosts[@]}
  do
    echo "********** $host configsvr stop... **********"
    ssh $host "cat /home/bigdata/env/mongodb/run/configsvr.pid | xargs kill -15 "
  done
}

mongo_status(){
  source ~/.bashrc
  for host in ${hosts[@]}
  do
    echo "*************** $host status ***************"
    ssh $host "ps -ef | grep mongo* | grep -v grep "
  done
}

case $1 in
  start)
    echo "************** start mongodb ***************"
    mongo_start
    echo "************** start finish ****************"
  ;;
  stop)
    echo "************** stop mongodb ****************"
    mongo_stop
    echo "*************** stop finish ****************"
  ;;
  status)
    echo "*********** mongodb-4.4.13 status **********"
    mongo_status
  ;;
  *)
    echo "************* illegal argument *************"
esac

注意：脚本需要配置免密登录

0x12A2A7F
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
在CentOS7.8系统上安装mongodb4.4
goodmentc的专栏
12-15 782
一、 概述 本人简要介绍CentOS7.8 64位系统上安装mongodb4.4版本。 二、 下载 2.1 下载地址：https://www.mongodb.com/try/download/community 2.2 选择 mongodb-linux-x86_64-rhel62-4.4.1.tgz 三、 安装 3.1解压安装包： tar -xvzf mongodb-linux-x86_64-rhel62-4.4.1.tgz 3.2配置MongoDB: 打开/etc/proflie文件，在最后一行加入e
MongoDB 4.4 副本集部署详解
jiangff66的博客
05-28 551
在当今数据驱动的世界中，MongoDB作为一种流行的NoSQL数据库，以其灵活性和高性能而闻名。本教程将详细介绍如何在同一台机器上部署MongoDB 4.4的副本集，包括一个主节点和两个从节点，实现伪分布式架构。
MongoDB4.4版本源码部署分片集群
weixin_39595901的博客
10-13 648
MongoDB4.4版本源码部署分片集群
CentOS 8 搭建MongoDB4.4分片集群
weixin_46106069的博客
10-20 501
一，简介 1.分片 在MongoDB里面存在另一种集群，就是分片技术，可以满足MongoDB数据量大量增长的需求。 在MongoDB存储海量数据时，一台机器可能不足以存储数据，也可能不足以提供可接受的读写吞吐量。这时，我们就可以通过在多台机器上分割数据，使得数据库系统能存储和处理更多的数据。 2.为什么使用分片 复制所有的写入操作到主节点 延迟的敏感数据会在主节点查询 单个副本集限制在12个节点 当请求量巨大时会出现内存不足 本地磁盘不足 垂直扩展价格昂贵 3.分片原理概述 分片就是把数据分成块，再把块存
Linux CentOS / Fedora / RHEL7 下 MongoDB4.4 副本集+分片集群+安全认证 3台机器 部署搭建和测试
公众号Technology_stack作者，IT咨询请公众号私信
07-29 606
一、概述 从图中可以看到有四个组件：mongos、config server、shard、replica set。 mongos，数据库集群请求的入口，所有的请求都通过mongos进行协调，不需要在应用程序添加一个路由选择器，mongos自己就是一个请求分发中心，它负责把对应的数据请求请求转发到对应的shard服务器上。在生产环境通常有多mongos作为请求的入口，防止其中一个挂掉所有的mongodb请求都没有办法操作。 config server，顾名思义为配置服务器，存储所有数据库元信息（路由、分片）
mongodb-4.0.4搭建集群
张益达的博客
12-12 5010
前篇已经介绍了MongoDB单机的搭建与使用，如果有小伙伴还不会进行单机的搭建，可以先看前一篇的，本篇主要介绍集群的搭建与使用！ mongodb的集群搭建方式主要有三种，主从模式，Replica set模式，sharding模式, 三种模式各有优劣，适用于不同的场合，属Replica set应用最为广泛，主从模式现在用的较少，sharding模式最为完备，但配置维护较为复杂。本文我们来看下Repl...
Mongodb 副本集搭建
dadawdawdadadw的博客
07-14 501
物理机中搭建mongodb副本集
MongoDB 分片集群搭建部署指南
2401_84750872的博客
06-15 356
MongoDB 是一种高性能、开源、无模式的文档型数据库，广泛应用于大数据和高并发场景中。为了处理大规模数据和提升读写性能，MongoDB 提供了分片（Sharding）机制，通过将数据分布到多个节点来实现横向扩展。本指南将详细介绍如何在 MongoDB 中搭建和部署一个分片集群。1.在每个 Config Server 上创建配置文件。1.在每个 Shard Server 上创建配置文件。在每个 Query Router 上创建配置文件。3.2 配置 Shard Server。
搭建MongoDB分片集群
misakivv的博客
05-03 1695
分片（sharding）是一种跨多台机器分布数据的方法，MongoDB使用分片来支持具有非常大的数据集和高吞吐量操作的部署。 分片是将数据拆分，散到不同的机器上，不需要功能强大的大型计算机就可以储存更多的数据，处理更多的负载。有时也叫分区 (partitioning)。
MongoDB4.4.8搭建分布式集群
GL666的专栏
08-31 512
本文链接：https://blog.csdn.net/zhanaolu4821/article/details/87190100 搭建之前先了解一下MongoDB分片群集主要有如下三个组件： Shard：分片服务器，用于存储实际的数据块，实际生产环境中一个shard server 角色可以由几台服务器组成一个Peplica Set 承担，防止主机单点故障。 Config Server：配置服务器，存储了整个分片群集的配置信息，其中包括chunk信息。 Routers：前端路...
Mongodb4.4 X86_64位下载
06-14
Mongodb4.4 X86_64位下载
MongoDB 4.4 数据库全部参数详细说明
12-16
MongoDB 是一个流行的开源文档数据库系统，其4.4版本提供了丰富的配置参数来优化和管理数据库的性能、安全性和稳定性。以下是对这些参数的详细解释： ### 验证参数 这些参数涉及到数据库的安全认证和权限控制： - `...
MongoDB分布式集群搭建
07-07
### MongoDB分布式集群搭建详解 #### 一、集群与分布式概念 **集群(Cluster)**与**分布式(Distributed)**是两种常见的架构设计模式，用于提高系统的可用性、可伸缩性和性能。 1. **集群(Cluster)** - **定义**：...
13.2 MongoDB
与海
07-24 296
-authMongoDB配置账号测试账号。
MongoDB - 聚合阶段 $match、$sort、$limit
最新发布
你今天真好看呀
07-24 973
对包含重复值的字段进行排序时，可能会以任何顺序返回包含这些值的文档。如果需要一致的排序顺序，请在排序中至少纳入一个包含唯一值的字段。例如，在上面的表单中，文档首先按 field1 排序。接受排序依据的字段及相应排序顺序的文档。字段始终保证包含唯一值，因此在同一排序的多次执行中返回的排序顺序将始终相同。要实现一致的排序，可以在排序中添加一个仅包含唯一值的字段。阶段之前，请务必在排序中至少包含一个包含唯一值的字段。重复值的文档的顺序在多次执行同一排序中可能不相同。限制了聚合管道中的文档总数，因此早期的。
windows下实现mongodb备份还原
07-24 619
把以下脚本保存为.bat格式的文件，双击运行bat，在备份路径下创建当天日期yyyyMMdd格式的文件夹保存mongodb数据库备份文件，并清除7天前的数据库备份文件。::删除7天前的备份文件。-d 需要备份的库名称。--gzip 启用压缩。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值