k8s搭建mongo分片集群

已于 2023-07-04 11:13:21 修改
阅读量342 收藏
点赞数
文章标签： kubernetes 云原生 mongodb
于 2023-06-29 15:40:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/comezhouyi/article/details/131457418
版权

k8s搭建mongo分片

创建公共资源

1. 创建名称空间

kubectl create ns mongo-shard

2. 创建集群内部认证证书

  • 创建证书
openssl rand -base64 741 > ./keyFile.txt
  • 通过文件方式创建secret
kubectl create secret generic mongo-shard-keyfile -n mongo-shard --from-file=keyfile=./keyFile.txt
  • 通过yaml创建secret
# keyFile base64
cat keyFile.txt | base64

# secret.yaml
apiVersion: v1
kind: Secret
metadata:
  name: mongo-shard-keyfile
type: Opaque
data:
  # 上述base64内容
  keyfile: NHZIUlFlV2lVUi9VT2pjWVFNN1M3bEJWWTJWaXlmRHc2UFQvRmQxNE1kbFY5eDZDSTRhMEZJWXNKanhPYmdKLwpDNHdvVVpacHp2QURyMGVxUG5OaHhaR0VwQi9tcU03R05nZXF6NDlJV0VYaG9Db2psVkpGK2YzcXR6M3kzVWtKCkYrVEFwanc2cHV6cFZHd083K0Z1Zm5ZL3JRa1JUM1F1RU5VNFdpckdOelVOb2x2UXhuenZGVmlpRjF4M0Vzb1MKZ05FSXNSN2xNMFUxb25yaGJhNGlyUFZROEZOQk43WERRNy93TnRaVkk2RnpVb3BkQjI4VXpic2FRV29WZnNHYgo3L1hDeG5BYUR5RklXZktmaWExRWN2VWxKZEUwQVJ1VVN1TDdreTBmUzlzRmh4QjZlZVJQVkF4US9IQU9ZWkRHCm9EaTZxVXFKVmhnTkFqM01rQ3plTVhMUUx5WDJuMUdsYW13cWhEVm5uYUtwaWpkNW84YmlBeTVlcyt2UC9pTXEKcm5OTFFGWDZuR1UxS2ZsWXJkdjZZVTZmNEdBN285Yys1UGhqOS9JN0xtdllvQnVMR002RFdEU1RlVzV1TVhFNgoxS29KVXZ4NjhqcnBSaEJKS2k3WGdrNHdSZENudVFtZ0hVWUdhR0R0Q2MxRHNGM0ZOWUhpbUFvZ04xSlBKakJ3CjYrTldYaVdVYjJIbUpLVHZtL2h3bHZNNm56REhqb0tWcS9vK2lYbXYvc0FZbzhEbEZ4L3ZoRUdZclJnUEVXYnQKT2YyV09oam00RVVkdWFoalJKWWZWM2k3c3QvMDU0U3g1WEZmMnZ3UnhGVmw1WUYxVzNLeEZYL3I1N3ZkZUNhWgprQ3hOWCtKckRUTVlYTjZLYTRQYXJkQXNZK0pFeGFLOTFYZko1YTN1R0d1aWRXcWFFTHBNa0NnZ2NTaklwZ2xlCncrK2tYTFNSei9XZXNJSjljc3BYY2x0L1dSTVp0eW0rajBDbVlZejZLVFk2c2dOL2l4U1diMitGanpxUnF0blIKZmhuSnMxWUQ0MDVpUS9aUHFjNkxzdHFNc2dXRUIxL1ZqZUQwOUdiSEFSemR0YmFJZjFEWmc2RUNzbEk2VkR3WQpMN21GQ1VLcmFjd2k4aEQ4V1FjTVo0RFpCTWluRGVLSkNlZHpMdytMVDFJL01VanNQS1plOWg3R2NtNElTNzg5CitLcDNXRzZ0Rk1DTmw0Q3dLeERnS1dkTlV3YXNBc21iNkMvZVBqWnFzdGNjWGhGVWJQaFNsNmxTa2hnSTFwWGEKN05haFdRYWtwL1RnZC8xbHI3VzJDN2FucWcwQQo=

kubectl apply -f secret.yaml -n mongo-shard

创建第一个分片

1. 创建副本集

# ./shard1/shard1.yaml
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: mongo-shard1
spec:
  serviceName: mongo-shard1-svc
  replicas: 3
  selector:
    matchLabels:
      app: mongo-shard1
  template:
    metadata:
      labels:
        app: mongo-shard1
    spec:
      containers:
        - name: mongo
          image: mongo:5.0.5
          ports:
            - containerPort: 27017
          command:
            - "mongod"
            - "--bind_ip_all"
            - "--replSet"
            - "shard1"
            - "--keyFile"
            - "/etc/keyfile/keyfile"
            - "--port"
            - "27017"
            - "--shardsvr"
          volumeMounts:
            - name: data
              mountPath: /data/db
            - name: keyfile
              mountPath: /etc/keyfile
              readOnly: true
          resources:
            limits:
              cpu: 1000m
              memory: 1024Mi
      volumes:
        - name: keyfile
          secret:
            secretName: mongo-shard-keyfile
            defaultMode: 256
  volumeClaimTemplates:
    - metadata:
        name: data
      spec:
        accessModes: ["ReadWriteOnce"]
        resources:
          requests:
            storage: 2G
        storageClassName: rook-ceph-block

---
apiVersion: v1
kind: Service
metadata:
  name: mongo-shard1-svc
spec:
  selector:
    app: mongo-shard1
  ports:
    - port: 27017
      targetPort: 27017
      protocol: TCP
  clusterIP: None

kubectl apply -f ./shard1/shard1.yaml -n mongo-shard

2. 初始化副本集

  1. 初始化副本集
kubectl exec -it -n mongo-shard mongo-shard1-0 -- mongo

rs.initiate({
    _id: "shard1",
    "members": [
        {
            "_id": 0,
            "host": "mongo-shard1-0.mongo-shard1-svc"
        },
        {
            "_id": 1,
            "host": "mongo-shard1-1.mongo-shard1-svc"
        },
        {
            "_id": 2,
            "host": "mongo-shard1-2.mongo-shard1-svc"
        }
    ]
})

rs.status()
  1. 创建用户
const adminDb = db.getSiblingDB('admin');

# 创建root用户
adminDb.createUser({
    user: "root",
    pwd: "Root123456!",
    roles: [
        {
            role: "root",
            db: "admin"
        }
    ]
});

# 登录root用户
adminDb.auth('root','Root123456!')

# 创建admin用户
adminDb.createUser({
    user: "admin",
    pwd: "Root123456!",
    roles: [
        {
            role: "userAdminAnyDatabase",
            db: "admin"
        },
        {
            role: "clusterAdmin",
            db: "admin"
        },
    ]
});

3. 验证副本集

const testDb = db.getSiblingDB('test');

# 创建test数据库用户
testDb.createUser({
    user: "test",
    pwd: "Test123456!",
    roles: ["dbOwner"]
})

# 添加数据
testDb.temp.insert({name:"tokily"})

# 当前数据库获取数据
testDb.temp.find()

# 退出mongo
exit

# 连接其他mongo
kubectl exec -it -n mongo-shard mongo-shard1-1 -- mongo -utest -pTest123456! test

# 开启副本可读
rs.secondaryOk()

# 查询是否存在相同文档
db.temp.find()

# 验证完毕退出
exit

创建config

1. 创建config副本集

# ./config/config.yaml
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: mongo-config
spec:
  serviceName: mongo-config-svc
  replicas: 3
  selector:
    matchLabels:
      app: mongo-config
  template:
    metadata:
      labels:
        app: mongo-config
    spec:
      containers:
        - name: mongo
          image: mongo:5.0.5
          ports:
            - containerPort: 27017
          command:
            - "mongod"
            - "--bind_ip_all"
            - "--replSet"
            - "config"
            - "--keyFile"
            - "/etc/keyfile/keyfile"
            - "--port"
            - "27017"
            - "--configsvr"
          volumeMounts:
            - name: data
              mountPath: /data/db
            - name: keyfile
              mountPath: /etc/keyfile
              readOnly: true
          resources:
            limits:
              cpu: 1000m
              memory: 1024Mi     
      volumes:
        - name: keyfile
          secret:
            secretName: mongo-shard-keyfile
            defaultMode: 256
  volumeClaimTemplates:
    - metadata:
        name: data
      spec:
        accessModes: ["ReadWriteOnce"]
        resources:
          requests:
            storage: 1Gi
        storageClassName: rook-ceph-block

---
apiVersion: v1
kind: Service
metadata:
  name: mongo-config-svc
spec:
  selector:
    app: mongo-config
  ports:
    - port: 27017
      targetPort: 27017
      protocol: TCP
  clusterIP: None

kubectl apply -f ./config/config.yaml -n mongo-shard

2. 初始化config副本集

kubectl exec -it -n mongo-shard mongo-config-0 -- mongo

rs.initiate({
    _id: "config",
    "members": [
        {
            "_id": 0,
            "host": "mongo-config-0.mongo-config-svc"
        },
        {
            "_id": 1,
            "host": "mongo-config-1.mongo-config-svc"
        },
        {
            "_id": 2,
            "host": "mongo-config-2.mongo-config-svc"
        }
    ]
})

exit

创建mongos

1. 创建mongos负载

# ./mongos/mongos.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: mongo-mongos
spec:
  replicas: 3
  selector:
    matchLabels:
      app: mongo-mongos
  template:
    metadata:
      labels:
        app: mongo-mongos
    spec:
      containers:
        - name: mongo-mongos
          image: mongo:5.0.5
          resources:
            limits:
              memory: "512Mi"
              cpu: "1000m"
          ports:
            - containerPort: 27017
          command:
            - "mongos"
            - "--bind_ip_all"
            - "--port"
            - "27017"
            - "--keyFile"
            - "/etc/keyfile/keyfile"
            - "--configdb"
            - "config/mongo-config-0.mongo-config-svc:27017,mongo-config-1.mongo-config-svc:27017,mongo-config-2.mongo-config-svc:27017"
          volumeMounts:
            - name: keyfile
              mountPath: /etc/keyfile
              readOnly: true
      volumes:
        - name: keyfile
          secret:
            secretName: mongo-shard-keyfile
            defaultMode: 256

---
apiVersion: v1
kind: Service
metadata:
  name: mongo-mongos-svc
spec:
  type: NodePort
  selector:
    app: mongo-mongos
  ports:
    - port: 27017
      targetPort: 27017
      nodePort: 30018

kubectl apply -f ./mongos/mongos.yaml -n mongo-shard

2. 创建用户

# 任意mongos pod
kubectl exec -it -n mongo-shard mongo-mongos-7c44757b6d-d8bjn -- mongo

const adminDb = db.getSiblingDB('admin');
adminDb.createUser({
    user: "root",
    pwd: "Root123456!",
    roles: [
        {
            role: "root",
            db: "admin"
        }
    ]
});

adminDb.auth('root','Root123456!')

adminDb.createUser({
    user: "admin",
    pwd: "Root123456!",
    roles: [
        {
            role: "userAdminAnyDatabase",
            db: "admin"
        },
        {
            role: "clusterAdmin",
            db: "admin"
        },
    ]
});

添加第一个分片

1. 添加shard1

# 添加第一个分片
sh.addShard("shard1/mongo-shard1-0.mongo-shard1-svc:27017,mongo-shard1-1.mongo-shard1-svc:27017,mongo-shard1-2.mongo-shard1-svc:27017")

# 查看分片状态
sh.status()

2. 验证分片

# company库开启分片
sh.enableSharding("company")

# 创建分片策略
sh.shardCollection("company.emp", {_id: 'hashed'})

# 查看分片状态
sh.status()

# 添加数据
use company
for (var i = 0; i < 100; i++) {
    db.emp.insert({i: i});
}

# 查看数据分布
db.emp.getShardDistribution()

exit

创建第二个分片

1. 创建副本集

# ./shard2/shard2.yaml
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: mongo-shard2
spec:
  serviceName: mongo-shard2-svc
  replicas: 3
  selector:
    matchLabels:
      app: mongo-shard2
  template:
    metadata:
      labels:
        app: mongo-shard2
    spec:
      containers:
        - name: mongo
          image: mongo:5.0.5
          ports:
            - containerPort: 27017
          command:
            - "mongod"
            - "--bind_ip_all"
            - "--replSet"
            - "shard2"
            - "--keyFile"
            - "/etc/keyfile/keyfile"
            - "--port"
            - "27017"
            - "--shardsvr"
          volumeMounts:
            - name: data
              mountPath: /data/db
            - name: keyfile
              mountPath: /etc/keyfile
              readOnly: true
          resources:
            limits:
              cpu: 1000m
              memory: 1024Mi     
      volumes:
        - name: keyfile
          secret:
            secretName: mongo-shard-keyfile
            defaultMode: 256
  volumeClaimTemplates:
    - metadata:
        name: data
      spec:
        accessModes: ["ReadWriteOnce"]
        resources:
          requests:
            storage: 2G
        storageClassName: rook-ceph-block

---
apiVersion: v1
kind: Service
metadata:
  name: mongo-shard2-svc
spec:
  selector:
    app: mongo-shard2
  ports:
    - port: 27017
      targetPort: 27017
      protocol: TCP
  clusterIP: None

kubectl apply -f ./shard2/shard2.yaml -n mongo-shard

2. 初始化副本集

  1. 初始化副本集
kubectl exec -it -n mongo-shard mongo-shard2-0 -- mongo

rs.initiate({
    _id: "shard2",
    "members": [
        {
            "_id": 0,
            "host": "mongo-shard2-0.mongo-shard2-svc"
        },
        {
            "_id": 1,
            "host": "mongo-shard2-1.mongo-shard2-svc"
        },
        {
            "_id": 2,
            "host": "mongo-shard2-2.mongo-shard2-svc"
        }
    ]
})

rs.status()
  1. 创建用户
const adminDb = db.getSiblingDB('admin');

# 创建root用户
adminDb.createUser({
    user: "root",
    pwd: "Root123456!",
    roles: [
        {
            role: "root",
            db: "admin"
        }
    ]
});

# 登录root用户
adminDb.auth('root','Root123456!')

# 创建admin用户
adminDb.createUser({
    user: "admin",
    pwd: "Root123456!",
    roles: [
        {
            role: "userAdminAnyDatabase",
            db: "admin"
        },
        {
            role: "clusterAdmin",
            db: "admin"
        },
    ]
});

3. 验证副本集

const testDb = db.getSiblingDB('test1');

# 创建test数据库用户
testDb.createUser({
    user: "test",
    pwd: "Test123456!",
    roles: ["dbOwner"]
})

# 添加数据
testDb.temp.insert({name:"tokily"})

# 当前数据库获取数据
testDb.temp.find()

# 退出mongo
exit

# 连接其他mongo
kubectl exec -it -n mongo-shard mongo-shard2-1 -- mongo -utest -pTest123456! test1

# 开启副本可读
rs.secondaryOk()

# 查询是否存在相同文档
db.temp.find()

exit

添加第二个分片

1. 添加shard2

# 连接任意mongos
kubectl exec -it -n mongo-shard mongo-mongos-7c44757b6d-d8bjn -- mongo

# 登录
const adminDb = db.getSiblingDB('admin');
adminDb.auth('root','Root123456!')

# 添加第二个分片
sh.addShard("shard2/mongo-shard2-0.mongo-shard2-svc:27017,mongo-shard2-1.mongo-shard2-svc:27017,mongo-shard2-2.mongo-shard2-svc:27017")

# 查看分片状态
sh.status()

2. 验证分片

# company库开启分片
sh.enableSharding("company1")

# 创建分片测虐
sh.shardCollection("company1.emp", {_id: 'hashed'})

# 查看分片状态
sh.status()

# 添加数据
use company1
for (var i = 0; i < 100; i++) {
    db.emp.insert({i: i});
}

# 查看数据分布
db.emp.getShardDistribution()

exit

注意事项

  • 本文档使用名为“rook-ceph-block”的ceph块存储sc，读者可自行替换其他存储方案
  • 本文档所定义的资源配额、镜像版本、命名等，皆根据笔者环境指定，读者可自行替换
tokily
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
第0章 环境搭建汇总
Eclipse_2019的博客
08-07 701
min商城项目中所用到的所有技术组件的安装部署
filebeat+kafka+graylog+es+mongodb可视化日志详解
wx_17600131438
03-18 4197
graylog 是一个开源的专业的日志聚合、分析、审计、展示、预警的工具，跟 ELK 很相似，但是更简单，下面说一说 graylog 如何部署，使用，以及对 graylog 的工作流程做一个简单的梳理 本文篇幅比较长，一共使用了三台机器，这三台机器上部署了 kafka 集群(2.3)，es 集群(7.11.2)，MongoDB 副本集(4.2)，还有 graylog 集群(4.0.2)，搜集的日志是 k8s 的日志，使用 DaemonSet 的方式通过 filebeat(7.11.2)将日志搜集到 ka.
MongoDB-in-Kubernetes:在K8s集群中部署的MongoDB Sharded集群
05-02
MongoDB-in-Kubernetes 在K8s集群中部署的MongoDB Sharded集群 用于Shard和Config服务器的Pod的部署： 此处，分片副本集存储实际数据或块（文档集合），而配置服务器副本集存储mongodb集群的元数据和配置信息。 在k8s集群中，我们创建了无头服务和状态集，用于部署分片和配置服务器Pod。 当无头服务与状态集结合使用时，k8s为每个Pod提供一个唯一的DNS名称，该名称解析为Pod的IP地址，即使重新安排Pod的时间，这些名称也不会更改，因此分片或配置服务器中的所有副本集仍然可以互相交流。 在yaml定义中还有其他配置，例如指定pod亲和力，定义就绪/活跃性探针，用于持久卷的卷声明模板以及用于mongodb集群的其他特定于容器的配置。 #shards kubectl create -f mongodbShardReplicaset.y
k8s 安装 mongodb 分片（Sharding）+ 副本集（Replica Set）
04-14
k8s 安装 mongodb 分片（Sharding）+ 副本集（Replica Set）
k8s部署mongodb副本高可用集群
最新发布
ningkangming的博客
06-29 1036
mongodb集群部署分两种情况，一是只部署副本机制，不使用分片，另一种情况是使用分片集群。使用分片的情况下会略复杂，但基本部署方法和只部署副本的方法是差不多的，只不过是多了一些角色。这里只介绍部署副本集群到k8s集群。
在k8s 中部署有状态服务MongoDB高可用集群详解（附带镜像）
博客虽小，世界尽在其中
04-15 2843
本文将深入探讨在Kubernetes（K8s）中部署有状态服务MongoDB高可用集群的过程。首先，我们将概述Kubernetes作为容器编排平台在现代化云原生应用部署中的关键作用，以及MongoDB作为流行的NoSQL数据库在有状态服务领域的重要性。
kubernetes-mongodb-shard:在kubernetes上部署mongodb分片集群
05-08
kubernetes-mongodb分片 在kubernetes上部署mongodb分片集群。 这适用于最少具有3个节点的小型集群和具有100多个节点的大型集群。 先决条件 具有至少3个可调度节点的Kubernetes集群。 Kubernetes v1.2.3或更高版本 特征 分片，副本，配置服务器和mongos的可配置数量 分片成员和数据副本均匀分布在可用节点上 存储直接分配到每个节点上 每个节点将所有mongo服务器组合到一个kubernetes容器中 设置了可以在上游使用的服务 官方mongodb docker镜像未经修改即可使用 描述 通过这个仓库很容易在kubernetes上设置mongodb碎片。 kubectl用于确定集群中的节点数，提供的shell脚本src/generate.sh为每个节点创建一个kubernetes yaml文件以及必要的js配置脚本。 最后，通过执行
K8S 部署mongoDB 6.0 分片集群 —— 筑梦之路
筑梦之路
11-19 1219
【代码】K8S 部署mongoDB 6.0 分片集群 —— 筑梦之路。
MongoDB 分片集群搭建
Sail__的专栏
07-09 683
目录 说明 配置说明 gitee 3台机器 端口 安装 下载 解压文件 创建文件夹 目录结构 #按顺序启动 shard集群配置 #配置复制集 shard1,注意ip和端口 #初始化副本集配置 #配置复制集 shard2 #配置复制集 shard3 config集群配置 #启动各个节点： #创建config集群 mongos节点配置 #启动mongos ...
MongoDB分片集群搭建
bjgaocp的博客
01-14 209
MongoDB 分片 在Mongodb里面存在另一种集群，就是分片技术,可以满足MongoDB数据量大量增长的需求。 当MongoDB存储海量的数据时，一台机器可能不足以存储数据，也可能不足以提供可接受的读写吞吐量。这时，我们就可以通过在多台机器上分割数据，使得数据库系统能存储和处理更多的数据。 为什么使用分片 复制所有的写入操作到主节点 延迟的敏感数据会在主节点查询 单个副本集限制...
K8s 部署 MongoDB（副本集）
02-03
mongodb的集群搭建方式主要有三种，主从模式，Replica set模式，sharding模式, 三种模式各有优劣，适用于不同的场合，属Replica set应用最为广泛，主从模式现在用的较少，sharding模式最为完备，但配置维护较为复杂 ...
kubernetes(k8s)内部署ambry,es,mongodb,mysql,orientdb,rocketmq集群模式的方法
09-10
kubernetes(k8s)内部署ambry,es,mongodb,mysql,orientdb,rocketmq集群模式的方法,已包含配置文件,部署说明书,步骤截图,亲测可用.
k8s部署mongodb分片集群
u012182853的博客
02-20 1989
配置节点label apiVersion: v1 kind: Node metadata: name: host1 labels: mongodb: "mongo-0" --- apiVersion: v1 kind: Node metadata: name: host2 labels: mongodb: "mongo-1" --- apiVersion: v1 kind: Node metadata: name: host3 labels: mo
MongoDB K8s集群部署
wenwst的专栏
04-23 2991
在k8s集群中安装MongoDb参考
k8s教程（pod篇）-使用StatefulSet搭建MongoDB集群
阿甘兄
12-30 1751
主要讲解使用StatefulSet搭建MongoDB集群的一些概念以及案例
k8s部署mongodb集群
weixin_42562106的博客
07-30 3774
cat <<END>cluster-mongo.yaml apiVersion: apps/v1 kind: StatefulSet metadata: name: mongo spec: selector: matchLabels: role: mongo environment: test serviceName: "mongo" replicas: 3 template: metadata: labels:
mongo 分片 集群
08-19
MongoDB的分片集群是一种将数据分布在多个服务器上的方式，以实现高可用性和横向扩展性。下面是一些关于MongoDB分片集群的常见问题和答案： 1. 什么是MongoDB的分片集群？ MongoDB的分片集群是一种将数据分割成多个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值