mysql主从配置duxi_手把手超详细Docker部署MongoDB集群

最新推荐文章于 2024-08-01 17:23:50 发布

众先运

最新推荐文章于 2024-08-01 17:23:50 发布

阅读量335

点赞数

文章标签： mysql主从配置duxi

本文链接：https://blog.csdn.net/weixin_36167031/article/details/113602354

版权

Mongodb集群搭建

mongodb 集群搭建的方式有三种：主从备份(Master - Slave)模式，或者叫主从复制模式。

副本集(Replica Set)模式。

分片(Sharding)模式。其中，第一种方式基本没什么意义，官方也不推荐这种方式搭建。另外两种分别就是副本集和分片的方式。今天介绍副本集的方式搭建mongodb高可用集群

简介以及概述

首先我们先来了解一下Mongo集群的概念，Mongo集群有3个主要组件

ConfigServer：在集群中扮演存储整个集群的配置信息，负责配置存储，如果需要高可用的ConfigServer那么需要3个节点。

Shard：分片，存储真实的数据，每一个Shard分片都负责存储集群中的数据，例如一个集群有3个分片，然后我们定义分片规则为哈希，那么整个集群的数据就会(分割)到3个分片中的某一个分片，那么分片是特别重要的，如果集群中的一个分片全部崩溃了那么集群将不可用，所以我们要保证集群的高可用，那么我们需要一个分片配置3个节点，2个副本集一个仲裁节点，仲裁节点类似于Redis的哨兵模式，如果发现主节点挂了那么让另一个副本集进行数据存储。

Mongos：Mongos我们可以理解为整个集群的入口，类似于Kafka的Broker代理，也就是客户端，我们通过客户端连接集群进行查询。

下面是MongoDB的官方集群架构图，我们看到Mongos是一个路由，他们的信息都存储在ConfigServer中，我们通过Mongos进行添加，然后根据条件将数据进行分片到分片的副本集中。

Mongo分片集群(非高可用,不推荐)

搭建ConfigServer

首先我们搭建两个config-server

创建两个config-server的配置文件#创建config-server-1

mkdir -p /docker/mongo-cluster/mongo-server1/{data,conf}

#创建config-server-2

mkdir -p /docker/mongo-cluster/mongo-server2/{data,conf}

然后配置文件中配置端口#创建第一个配置文件

#写入配置信息，端口号

echo "# mongodb.conf

logappend=true

# bind_ip=127.0.0.1

port=20011

auth=false" > /docker/mongo-cluster/mongo-server1/conf/mongo.conf

#创建第二个配置文件

#写入配置信息，端口号

echo "# mongodb.conf

logappend=true

# bind_ip=127.0.0.1

port=20012

auth=false" > /docker/mongo-cluster/mongo-server2/conf/mongo.conf

然后启动容器#启动Server1

docker run --name mongo-server1 -d \

--net=host \

--privileged=true \

-v /docker/mongo-cluster/mongo-server1/conf:/data/configdb \

-v /docker/mongo-cluster/mongo-server1/data:/data/db \

docker.io/mongo:latest mongod -f /data/configdb/mongo.conf --configsvr --replSet "rs_config_server" --bind_ip_all

docker run --name mongo-server2 -d \

--net=host \

--privileged=true \

-v /docker/mongo-cluster/mongo-server2/conf:/data/configdb \

-v /docker/mongo-cluster/mongo-server2/data:/data/db \

docker.io/mongo:latest mongod -f /data/configdb/mongo.conf --configsvr --replSet "rs_config_server" --bind_ip_all

然后进入容器初始化#进入容器

docker exec -it mongo-server1 bash

mongo -port 20011

#初始化

rs.initiate(

{

_id: "rs_config_server",

configsvr: true,

members: [

{ _id : 0, host : "114.67.80.169:20011" },

{ _id : 1, host : "114.67.80.169:20012" }

]

}

);

如果ok为1表示成功

创建分片集群

下面我们给每个server创建2个分片

创建挂载文件#创建config-server-1的两个分片目录

mkdir -p /docker/mongo-cluster/mongo-server1-shard1/{data,conf}

mkdir -p /docker/mongo-cluster/mongo-server1-shard2/{data,conf}

#创建config-server-2的两个分片目录

mkdir -p /docker/mongo-cluster/mongo-server2-shard1/{data,conf}

mkdir -p /docker/mongo-cluster/mongo-server2-shard2/{data,conf}

创建配置文件#创建config-server-1的两个分片配置文件

echo "# mongodb.conf

logappend=true

# bind_ip=127.0.0.1

port=20021

auth=false" > /docker/mongo-cluster/mongo-server1-shard1/conf/mongo.conf

echo "# mongodb.conf

logappend=true

# bind_ip=127.0.0.1

port=20022

auth=false" > /docker/mongo-cluster/mongo-server1-shard2/conf/mongo.conf#创建config-server-2的两个分片配置文件

echo "# mongodb.conf

logappend=true

# bind_ip=127.0.0.1

port=20023

auth=false" > /docker/mongo-cluster/mongo-server2-shard1/conf/mongo.conf

echo "# mongodb.conf

logappend=true

# bind_ip=127.0.0.1

port=20024

auth=false" > /docker/mongo-cluster/mongo-server2-shard2/conf/mongo.conf

然后启动容器#启动config-server-1的两个分片容器

docker run --name mongo-server1-shard1 -d \

--net=host \

--privileged=true \

-v /docker/mongo-cluster/mongo-server1-shard1/conf:/data/configdb \

-v /docker/mongo-cluster/mongo-server1-shard1/data:/data/db \

docker.io/mongo:latest mongod -f /data/configdb/mongo.conf --shardsvr --replSet "rs_shard_server1" --bind_ip_all

docker run --name mongo-server1-shard2 -d \

--net=host \

--privileged=true \

-v /docker/mongo-cluster/mongo-server1-shard2/conf:/data/configdb \

-v /docker/mongo-cluster/mongo-server1-shard2/data:/data/db \

docker.io/mongo:latest mongod -f /data/configdb/mongo.conf --shardsvr --replSet "rs_shard_server1" --bind_ip_all#启动config-server-2的两个分片容器

docker run --name mongo-server2-shard1 -d \

--net=host \

--privileged=true \

-v /docker/mongo-cluster/mongo-server2-shard1/conf:/data/configdb \

-v /docker/mongo-cluster/mongo-server2-shard1/data:/data/db \

docker.io/mongo:latest mongod -f /data/configdb/mongo.conf --shardsvr --replSet "rs_shard_server2" --bind_ip_all

docker run --name mongo-server2-shard2 -d \

--net=host \

--privileged=true \

-v /docker/mongo-cluster/mongo-server2-shard2/conf:/data/configdb \

-v /docker/mongo-cluster/mongo-server2-shard2/data:/data/db \

docker.io/mongo:latest mongod -f /data/configdb/mongo.conf --shardsvr --replSet "rs_shard_server2" --bind_ip_all

进入第一个分片docker exec -it mongo-server1-shard1 bash

mongo -port 20021

#进行分片

rs.initiate(

{

_id : "rs_shard_server1",

members: [

{ _id : 0, host : "114.67.80.169:20021" },

{ _id : 1, host : "114.67.80.169:20022" }

]

}

);

进入第二个分片docker exec -it mongo-server2-shard1 bash

mongo -port 20023

#进行分片

rs.initiate(

{

_id : "rs_shard_server2",

members: [

{ _id : 0, host : "182.61.2.16:20023" },

{ _id : 1, host : "182.61.2.16:20024" }

]

}

);

安装Mongos

创建挂载文件mkdir -p /docker/mongo-cluster/mongos1/{data,conf}

echo "# mongodb.conf

logappend=true

# bind_ip=127.0.0.1

port=20099

auth=false" > /docker/mongo-cluster/mongos1/conf/mongo.conf

然后启动Mongodocker run --name mongo-mongos1 -d \

--net=host \

--privileged=true \

-p 27017:27017 \

--entrypoint "mongos" \

-v /docker/mongo-cluster/mongos1/conf:/data/configdb \

-v /docker/mongo-cluster/mongos1/data:/data/db \

docker.io/mongo:latest \

--configdb rs_config_server/114.67.80.169:20011,114.67.80.169:20012 --bind_ip_all

mongo添加分片组sh.addShard("rs_shard_server1/114.67.80.169:20021,114.67.80.169:20022")

sh.addShard("rs_shard_server2/182.61.2.16:20023,182.61.2.16:20024")

新建数据启用分片sh.enableSharding("test")

对test.order的_id进行哈希分片

sh.shardCollection("test.order", {"_id": "hashed" })插入数据后查看分片数据

use test

for (i = 1; i <= 1000; i=i+1){db.order.insert({'price': 1})}

Mongo分片集群高可用+权限(推荐)

那么我们先来总结一下我们搭建一个高可用集群需要多少个Mongo

mongos ： 3台

configserver ： 3台

shard ： 3片

每一片shard 分别部署两个副本集和一个仲裁节点： 3台

那么就是 3 + 3 + 3 * 3 = 15 台，我这里演示采用3台服务器

114.67.80.169 4核16g 部署一个configserver，一个mongos，2个分片组

182.61.2.16 2核4g 部署一个configserver，一个mongos，1个分片组

106.12.113.62 1核2g 部署一个configserver，一个mongos，不搭建分片组

由于此处服务器原因所以不是均衡分布，请根据自身实际情况搭建角色ip端口config-server1114.67.80.16920011

config-server2182.61.2.1620012

config-server3106.12.113.6220013

mongos1114.67.80.16920021

mongos2182.61.2.1620022

mongos3106.12.113.6220023

shard1-server1114.67.80.16920031

shard1-server2114.67.80.16920032

shard1-server3114.67.80.16920033

shard2-server1114.67.80.16920034

shard2-server2114.67.80.16920035

shard2-server3114.67.80.16920036

shard3-server1182.61.2.1620037

shard3-server2182.61.2.1620038

shard3-server3182.61.2.1620039

搭建ConfigServer

我们先来搭建ConfigServer，因为我们知道搭建的话一定要高可用而且一定要权限这里mongo之间通信采用秘钥文件，所以我们先进行生成

搭建config-server1

创建挂载文件目录mkdir -p /docker/mongo-cluster/config-server1/{data,conf}

写入配置文件echo "

# 日志文件

#systemLog:

# destination: file

# logAppend: true

# path: /var/log/mongodb/data0802.log

# 网络设置

net:

port: 20011 #端口号

# bindIp: 127.0.0.1 #绑定ip

replication:

replSetName: configsvr

sharding:

clusterRole: configsvr

security:

authorization: enabled #是否开启认证

keyFile: /data/configdb/mongo.key #keyFile路径 " > /docker/mongo-cluster/config-server1/conf/mongo.conf

然后生成keyFileopenssl rand -base64 756 > /docker/mongo-cluster/config-server1/conf/mongo.key

文件如下，我们，之后我们所以key都采用这个(请采用自己生成的key)tsUtJb3TeueNR8Mehr7ZLmZx82qfuCQ7LfLjUvQA7hNfWSomyNDISXDiSTJQEVym

OhXXzwB+0iv+czxi4qe9tAP8fMDuXpieZreysg4gxZ1VoFC1q39IrUDAEpCikSKS

abGl8RTEOM/GzVM8BATjaGHuBIi2osBAPg2Hzi+/u9ORbb4I4jzvgStcPcozRgOZ

5kPvXBybanV8MhLA6MfG1rcUiTkGoKb65YuWIfPuuF7PTWZe4VcF+iU6jgw73juZ

pbcZR5oTKvOWz89KCRTmQqHRexmJyn+NJcIGHFS/sZSJXE8LFPBZ+XLGYrtmDqo0

9tA1x8R+u32OJ7iOAU1mFkCHe2Uoph6aeVx/jZx1FgFjW0afT4ou2w7QHsdF0WRn

nskJ1FCA8NKzhYYgv/YrpyAChhTgd//gbWr028qz1W1POpBkj4muKUk7OTHRV6bs

qr2C73bqcZ1n2s60k6WbRUd6LP6POHR93wvi5EaXyorSMBIGiSD1Kyr/iqO7gD4C

GN8iA3MqF+fW5nKn1yBNEfPGoFk+p0EaxIAhfLEpzSRb3Wt5XLOWP7CBGuTo7KST

Y5HAcblqN7TByQhLdH5MZJ4FhfTZ0yNKTOVQdZUYRb5GGgS0GZfUk4bndLTkHrJd

tcR4WreHpz7ccncE5Vt8TGglrEx0noFVBqLqTdrqFUFpvWoukw/eViacLlBHKOxB

QVgfo4491znNMmthqGimVI7TFV706AvVJGqoIyuiFZRE5qx5MsOlIXiFwA3ue1Lo

kiFq5c6ImvS0R9LGu1Xcr0REYN53/bBVgGzJovEn7IIrHChYow7TkTLf/LsnjL3m

rmkDRgzA0C5i6fXgKkJdBhvvA521Yf75YP9n+819NUTZbtGIxRnP07pMS9RP4TjS

ZSd9an5yc7IpnL0gE4Pmnvf8LM86WTt9hZWKrE2LeQPEFgFl/Eq5NH60Zd4utxfi

qM2FH7aNsEukoAvA2v3All1wsM2kn4fMa89Hwui9h4xMy5tU

写入key文件echo "tsUtJb3TeueNR8Mehr7ZLmZx82qfuCQ7LfLjUvQA7hNfWSomyNDISXDiSTJQEVym