MongoDB 集群搭建

MongoDB 集群搭建

概念理解

mongo概念
从图中可以看到有四个组件:mongos、config server、shard、replica set。

  • mongos,数据库集群请求的入口,所有的请求都通过mongos进行协调,不需要在应用程序添加一个路由选择器,mongos自己就是一个请求分发中心,它负责把对应的数据请求请求转发到对应的shard服务器上。在生产环境通常有多mongos作为请求的入口,防止其中一个挂掉所有的mongodb请求都没有办法操作。

  • config server,顾名思义为配置服务器,存储所有数据库元信息(路由、分片)的配置。mongos本身没有物理存储分片服务器和数据路由信息,只是缓存在内存里,配置服务器则实际存储这些数据。mongos第一次启动或者关掉重启就会从 config server 加载配置信息,以后如果配置服务器信息变化会通知到所有的 mongos 更新自己的状态,这样 mongos 就能继续准确路由。在生产环境通常有多个 config server 配置服务器,因为它存储了分片路由的元数据,防止数据丢失!

  • shard,分片(sharding)是指将数据库拆分,将其分散在不同的机器上的过程。将数据分散到不同的机器上,不需要功能强大的服务器就可以存储更多的数据和处理更大的负载。基本思想就是将集合切成小块,这些块分散到若干片里,每个片只负责总数据的一部分,最后通过一个均衡器来对各个分片进行均衡(数据迁移)。

  • replica set,中文翻译副本集,其实就是shard的备份,防止shard挂掉之后数据丢失。复制提供了数据的冗余备份,并在多个服务器上存储数据副本,提高了数据的可用性, 并可以保证数据的安全性。

  • 仲裁者(Arbiter),是复制集中的一个MongoDB实例,它并不保存数据。仲裁节点使用最小的资源并且不要求硬件设备,不能将Arbiter部署在同一个数据集节点中,可以部署在其他应用服务器或者监视服务器中,也可部署在单独的虚拟机中。为了确保复制集中有奇数的投票成员(包括primary),需要添加仲裁节点做为投票,否则primary不能运行时不会自动切换primary。

简单了解之后,我们可以这样总结一下,应用请求mongos来操作mongodb的增删改查,配置服务器存储数据库元信息,并且和mongos做同步,数据最终存入在shard(分片)上,为了防止数据丢失同步在副本集中存储了一份,仲裁在数据存储到分片的时候决定存储到哪个节点。

环境准备

  • 系统:CentOS 7.4
  • 服务器:192.168.16.150、192.168.16.151、192.168.16.152
  • 安装包:mongodb-linux-x86_64-rhel70-3.4.9.tgz

服务器规划:

150151152
mongosmongosmongos
config serverconfig serverconfig server
shard server1 主节点shard server1 副节点shard server1 仲裁
shard server2 仲裁shard server2 主节点shard server2 副节点
shard server3 副节点shard server3 仲裁shard server3 主节点

端口分配:

mongos:20000
config:21000
shard1:27001
shard2:27002
shard3:27003

集群搭建

一、安装MongoDB

# 下载 MongoDB
$ cd /opt
$ wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-3.4.9.tgz

# 解压
$ tar -zxvf mongodb-linux-x86_64-rhel70-3.4.9.tgz
$ ln -s /opt/mongodb-linux-x86_64-rhel70-3.4.9 /opt/mongodb

# 创建目录
$ mkdir -p /opt/mongodb/conf
$ mkdir -p /data/mongodb/mongos/log
$ mkdir -p /data/mongodb/{config,shard1,shard2,shard3}/{data,log}

# 配置环境变量
$ vim /etc/profile.d/mongodb.sh
#!/bin/bash
export MONGODB_HOME=/opt/mongodb
export PATH=$PATH:$MONGODB_HOME/bin
$ source /etc/profile.d/mongodb.sh

# 验证
$ mongod -version

二、Config Server 配置

1. 配置并启动服务
$ vim /opt/mongodb/conf/config.conf

sharding:
    clusterRole: configsvr
replication:
    replSetName: config        

# log
systemLog:
  destination: file
  logAppend: true
  path: /data/mongodb/config/log/config.log
 
# data
storage:
  dbPath: /data/mongodb/config/data
  journal:
    enabled: true

# process
processManagement:
  fork: true
  pidFilePath: /var/run/configsrv.pid
 
# network
net:
  port: 21000
  bindIp: 192.168.16.150

更多参数配置请参阅:参数配置

注意修改bindIp,并在三台服务器上启动 Config Server 服务

$ mongod --config /opt/mongodb/conf/config.conf
2. 连接并配置服务

选择任意服务器进行连接

$ mongo --host 192.168.16.150 --port 21000

使用 rs.initiate() 方法来初始化

  • _id:必须匹配配置的 replication.replSetName 值
  • member:全部的副本集
  • configsvr:对于 config server 副本集,该值必须为 true
# 初始化副本集
> rs.initiate(
  {
    _id: "config",
    configsvr: true,
    members: [
      { _id : 0, host : "192.168.16.150:21000" },
      { _id : 1, host : "192.168.16.151:21000" },
      { _id : 2, host : "192.168.16.152:21000" }
    ]
  }
)

# 查看分区状态
> rs.status()

# 退出
> quit()

三、Shard 配置

1. 配置并启动服务
# 配置
$ vim /opt/mongodb/conf/shard1.conf

sharding:
    clusterRole: shardsvr
replication:
    replSetName: shard1

# log
systemLog:
  destination: file
  logAppend: true
  path: /data/mongodb/shard1/log/shard1.log
 
# data
storage:
  dbPath: /data/mongodb/shard1/data
  journal:
    enabled: true
  wiredTiger:
    engineConfig:
       cacheSizeGB: 1

# process
processManagement:
  fork: true 
  pidFilePath: /var/run/shard1.pid
 
# network
net:
  port: 27001
  bindIp: 192.168.16.150

更多参数配置请参阅:参数配置

注意修改bindIp,并在三台服务器上启动 Shard 服务

$ mongod --config /opt/mongodb/conf/shard1.conf
2. 连接并配置服务

选择任意服务器进行连接

$ mongo --host 192.168.16.150 --port 27001

使用 rs.initiate() 方法来初始化

  • _id:必须匹配配置的 replication.replSetName 值
  • member:全部的副本集
# 使用 admin 数据库
> use admin

# 初始化副本集,第三个节点的 "arbiterOnly":true 代表其为仲裁节点
> rs.initiate(
  {
    _id: "shard1",
    members: [
      { _id : 0, host : "192.168.16.150:27001" },
      { _id : 1, host : "192.168.16.151:27001" },
      { _id : 2, host : "192.168.16.152:27001", arbiterOnly: true }
    ]
  }
)

# 查看分区状态
> rs.status()

# 退出
> quit()

到这,shard1 就配置好了,shard2 和 shard3 的操作基本一样,如下:

Shard2(注意修改bindIp
$ vim /opt/mongodb/conf/shard2.conf
sharding:
    clusterRole: shardsvr
replication:
    replSetName: shard2

# log
systemLog:
  destination: file
  logAppend: true
  path: /data/mongodb/shard2/log/shard2.log
 
# data
storage:
  dbPath: /data/mongodb/shard2/data
  journal:
    enabled: true
  wiredTiger:
    engineConfig:
       cacheSizeGB: 1

# process
processManagement:
  fork: true 
  pidFilePath: /var/run/shard2.pid
 
# network
net:
  port: 27002
  bindIp: 192.168.16.150

$ mongod --config /opt/mongodb/conf/shard2.conf
$ mongo --host 192.168.16.150 --port 27002
> use admin
> rs.initiate(
  {
    _id: "shard2",
    members: [
      { _id : 0, host : "192.168.16.150:27002", arbiterOnly: true },
      { _id : 1, host : "192.168.16.151:27002" },
      { _id : 2, host : "192.168.16.152:27002" }
    ]
  }
)
Shard3(注意修改bindIp
$ vim /opt/mongodb/conf/shard3.conf
sharding:
    clusterRole: shardsvr
replication:
    replSetName: shard3

# log
systemLog:
  destination: file
  logAppend: true
  path: /data/mongodb/shard3/log/shard3.log
 
# data
storage:
  dbPath: /data/mongodb/shard3/data
  journal:
    enabled: true
  wiredTiger:
    engineConfig:
       cacheSizeGB: 1

# process
processManagement:
  fork: true 
  pidFilePath: /var/run/shard3.pid
 
# network
net:
  port: 27003
  bindIp: 192.168.16.150

$ mongod --config /opt/mongodb/conf/shard3.conf
$ mongo --host 192.168.16.150 --port 27003
> use admin
> rs.initiate(
  {
    _id: "shard3",
    members: [
      { _id : 0, host : "192.168.16.150:27003" },
      { _id : 1, host : "192.168.16.151:27003", arbiterOnly: true },
      { _id : 2, host : "192.168.16.152:27003" }
    ]
  }
)

四、Mongos 配置

1. 配置并启动服务
# 配置
$ vim /opt/mongodb/conf/mongos.conf

sharding:
  configDB: config/192.168.16.150:21000,192.168.16.151:21000,192.168.16.152:21000

# log
systemLog:
  destination: file
  logAppend: true
  path: /data/mongodb/mongos/log/mongos.log

# process
processManagement:
  fork: true
  pidFilePath: /var/run/mongos.pid
 
# network
net:
  port: 20000
  bindIp: 192.168.16.150

更多参数配置请参阅:参数配置

注意修改bindIp,并在三台服务器上启动 Mongos 服务

$ mongos --config /opt/mongodb/conf/mongos.conf
2. 连接并配置服务

选择任意服务器进行连接

$ mongo --host 192.168.16.150 --port 20000

使用 rs.initiate() 方法来初始化

  • _id:必须匹配配置的 replication.replSetName 值
  • member:全部的副本集
  • configsvr:对于 config server 副本集,该值必须为 true
# 使用 admin 数据库
> use admin

# 串联路由服务器与分配副本集
> sh.addShard("shard1/192.168.16.150:27001,192.168.16.151:27001,192.168.16.152:27001")
> sh.addShard("shard2/192.168.16.150:27002,192.168.16.151:27002,192.168.16.152:27002")
> sh.addShard("shard3/192.168.16.150:27003,192.168.16.151:27003,192.168.16.152:27003")

# 查看集群状态
> sh.status()
--- Sharding Status ---
  sharding version: {
        "_id" : 1,
        "minCompatibleVersion" : 5,
        "currentVersion" : 6,
        "clusterId" : ObjectId("59ca06fabd3d4cb527e9368d")
}
  shards:
        {  "_id" : "shard1",  "host" : "shard1/192.168.16.150:27001,192.168.16.151:27001",  "state" : 1 }
        {  "_id" : "shard2",  "host" : "shard2/192.168.16.151:27002,192.168.16.152:27002",  "state" : 1 }
        {  "_id" : "shard3",  "host" : "shard3/192.168.16.150:27003,192.168.16.152:27003",  "state" : 1 }
  active mongoses:
        "3.4.9" : 1
 autosplit:
        Currently enabled: yes
  balancer:
        Currently enabled:  yes
        Currently running:  no
                Balancer lock taken at Tue Sep 26 2017 15:51:24 GMT+0800 (CST) by ConfigServer:Balancer
        Failed balancer rounds in last 5 attempts:  0
        Migration Results for the last 24 hours:
                No recent migrations
  databases:
        {  "_id" : "test",  "primary" : "shard3",  "partitioned" : false }
 

# 退出
> quit()

使数据库分片生效

首先必须连接到 mongos 服务,而为了让集合(collection)能够分片,先必须使得集合对应的数据库分片生效,数据库分片生效后,并不会重新分配数据,而是使得数据库中集合的分片成为可能。

使用 sh.enableSharding() 方法让指定数据库分片生效

> sh.enableSharding("xxxx")

五、测试

# 让指定数据库和指定的集合分片生效
$ mongo --host 192.168.16.150 --port 20000
> sh.enableSharding("testdb")
> sh.shardCollection("testdb.table1", {id: 1})

# 测试
$ mongo  192.168.16.150:20000
> use testdb
# 插入测试数据(当数据量未达到阈值时,是不会进行分割和迁移的)
> for (var i = 1; i <= 2000000; i++) db.table1.save({id: i, "test1": "testval1"})

# 查看分片情况
> db.table1.stats()
mongos> db.table1.stats()
mongos> db.table1.stats()
{
        "sharded" : true,
        "capped" : false,
        "ns" : "testdb.table1",
        "count" : 2000001,
        "size" : 107000053,
        "storageSize" : 38379520,
        "totalIndexSize" : 51064832,
        "indexSizes" : {
                "_id_" : 21872640,
                "id_1" : 29192192
        },
        "avgObjSize" : 53.37500081249959,
        "nindexes" : 2,
        "nchunks" : 7,
        "shards" : {
                "shard1" : {
                        "ns" : "testdb.table1",
                        "size" : 27000054,
                        "count" : 500001,
                        "avgObjSize" : 54,
                        "storageSize" : 8605696,
                        "capped" : false,
                        "nindexes" : 2,
                        "totalIndexSize" : 11132928,
                        "indexSizes" : {
                                "_id_" : 4755456,
                                "id_1" : 6377472
                        },
                        "ok" : 1
                },
                "shard2" : {
                        "ns" : "testdb.table1",
                        "size" : 66499945,
                        "count" : 1249999,
                        "avgObjSize" : 53,
                        "storageSize" : 25427968,
                        "capped" : false,
                        "nindexes" : 2,
                        "totalIndexSize" : 34476032,
                        "indexSizes" : {
                                "_id_" : 14802944,
                                "id_1" : 19673088
                        },
                        "ok" : 1
                },
                "shard3" : {
                        "ns" : "testdb.table1",
                        "size" : 13500054,
                        "count" : 250001,
                        "avgObjSize" : 54,
                        "storageSize" : 4345856,
                        "capped" : false,
                        "nindexes" : 2,
                        "totalIndexSize" : 5455872,
                        "indexSizes" : {
                                "_id_" : 2314240,
                                "id_1" : 3141632
                        },
                        "ok" : 1
                }
        },
        "ok" : 1
}

后期运维

一、启动及关闭

mongodb的启动顺序是,先启动配置服务器,再启动分片,最后启动mongos

$ mongos --config /opt/mongodb/conf/config.conf
$ mongos --config /opt/mongodb/conf/shard1.conf
$ mongos --config /opt/mongodb/conf/shard2.conf
$ mongos --config /opt/mongodb/conf/shard3.conf
$ mongos --config /opt/mongodb/conf/mongos.conf

关闭时,直接killall杀掉所有进程

$ killall mongod
$ killall mongos
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值