MongoDB之集群安装部署与shard操作

近期在设计用户标签系统当中， 采用了mongodb作为标签体系的底层主要的存储系统，因此在这里先尝试下有关mongodb的shard方式集群方式安装与测试：

一. 环境部署：

   1.1   版本：

     MongoDB版本：mongodb-linux-x86_64-2.6.7

        jdk版本： version 1.7

  1.2 相关路径：

      安装路径： /data/server/mongodb-2.6.7

      日志路径：/data/data-dir/logs/mongodb

      数据路径：/data/data-dir/mongodb

      配置文件路径：/data/server/mongodb-2.6.7/conf/mongodb.conf

  1.3 环境变量配置：

      在mongodb系统用户路径下的.bash_profile文件中加入：

      export MONGODB_HOME=/data/server/mongodb-2.6.7
      export PATH=$PATH:$MONGODB_HOME/bin

二 安装方式（shard 集群部署）：

shard方式当中需要部署配置服务器，路由服务器，以及N个shard 节点，并加入到mongo集群中去

2.1 配置服务器启动脚本(10.8.45.10:10000)：

#!/usr/bin/env bash

source /etc/profile

LOG_DIR=/data/data-dir/logs/mongodb/config.log

nohup mongod --fork --dbpath $MONGODB_HOME/conf/ --logpath  $LOG_DIR  -port 10000 &

2.2 配置路由服务器启动脚本(10.8.45.10:20000)：

#!/usr/bin/env bash

source /etc/profile

LOG_DIR=/data/data-dir/logs/mongodb/route.log

nohup mongos --fork  --port 20000 --configdb 10.8.45.10:10000 --logpath $LOG_DIR &

注意1：配置--conigdb的时候ip地址不能填localhost或127.0.0.1否则添加分片时会返回如下错误信息：

1.    {
2.            "ok" : 0,
3.            "errmsg" : "can't use localhost as a shard since all shards need to communicate. either use all shards and configdbs in localhost or all in actual IPs  host: 192.168.71.43:27017 isLocalHost:0"
4.    }

2.3 进行shard节点安装：

启动分片1(10.8.45.11:27019)：

#!/usr/bin/env bash
source /etc/profile
DATA_DIR=/data/data-dir/mongodb/
LOG_DIR=/data/data-dir/logs/mongodb/shard.log
nohup mongod --fork --dbpath $DATA_DIR  --logpath  $LOG_DIR  -port 27019 &

启动分片2(10.8.45.14:27020)：

#!/usr/bin/env bash
source /etc/profile
DATA_DIR=/data/data-dir/mongodb/
LOG_DIR=/data/data-dir/logs/mongodb/shard.log
nohup mongod --fork --dbpath $DATA_DIR  --logpath  $LOG_DIR  -port 27020 &

启动分片3(10.8.26.23:27017)：

#!/usr/bin/env bash
source /etc/profile
DATA_DIR=/data/data-dir/mongodb/
LOG_DIR=/data/data-dir/logs/mongodb/shard.log
nohup mongod --fork --dbpath $DATA_DIR  --logpath  $LOG_DIR  -port 27017 &

Note:在生产环境可以将启动的配置信息写入文件，然后启动的时候指定配置文件，这样便于管理：

举例说明：

1.    vi conf/config.conf
2.    bpath=data/config/
3.    logpath=log/config.log
4.    port=10000
5.    fork=true

6.    ./bin/mongod -f conf/config.conf

添加分片1(10.8.45.11:27019)：

1.    mongo --port 20000
2.    mongos> use admin
3.    switched to db admin
4.    mongos> db.runCommand({addshard:"10.8.45.10:27019"})

类似的添加分片2,3。

分片添加成功返回类似下面的信息：

1.    { "shardAdded" : "shard0000", "ok" : 1 }

管理分片

进入mongos进程config库可以看到目前分片的情况：

1.    mongo –port 20000
1.    mongos> use config
2.    switched to db config
3.    mongos> db.shards.find()
{ "_id" : "shard0000", "host" : "10.8.45.11:27019" }
{ "_id" : "shard0001", "host" : "10.8.45.14:27020" }
{ "_id" : "shard0002", "host" : "10.8.26.23:27017" }

上节中建立好集群后，默认的是不会将存储的每条数据进行分片处理，需要在数据库和集合的粒度上都开启分片功能。

创建一个新的数据库test，并创建user001的集合，然后开启test库的分片功能：

1.    mongo –port 20000
2.    mongos> use admin 
3.    switched to db admin
4.    mongos> db.runCommand({"enablesharding":"test"})
5.    { "ok" : 1 }

开启user001集合分片功能：

1.    mongos> db.runCommand({"shardcollection":"test.user001","key":{"_id":1}})
2.    { "collectionsharded" : "test.user001", "ok" : 1 }

注意：需要切换到admin库执行命令。

片键：上面的key就是所谓的片键（shard key）。MongoDB不允许插入没有片键的文档。但是允许不同文档的片键类型不一样，MongoDB内部对不同类型有一个排序：

查看分片后的数据库：

1.    mongo –port 20000
5.     mongos> use config
6.    mongos> db.databases.find()

{ "_id" : "admin", "partitioned" : false, "primary" : "config" }
{ "_id" : "test", "partitioned" : true, "primary" : "shard0002" }

“_id”,字符串。表示数据库名。

“partioned”,布尔型。如果为true则表示开启了分片功能。

“primary”，字符串，这个值与“_id”对应表示这个数据库的“大本营“在哪里，不论分片与否，数据库总是会有个“大本营”，创建数据库时会随机选择一个片，也就是说大本营是开始创建数据库文件的位置。虽然分片的时候数据库也会用到很多别的服务器，但是从这分片开始。

从上面可以看出，admin没有开启分片功能，而test数据库开启了shard功能，主片在shard002服务器上，而admin数据库的的数据大本营在config配置服务器上。

切换到config下：

mongos> use config

switched to db config

mongos> db.databases.find()

{ "_id" : "admin", "partitioned" : false, "primary" : "config" }
{ "_id" : "test", "partitioned" : true, "primary" : "shard0002" }

mongos> db.chunks.find()

{ "_id" : "test.user001-_id_MinKey", "lastmod" : Timestamp(1, 0), "lastmodEpoch" : ObjectId("570ba7787f04575f5c7f0842"), "ns" : "test.user001", "min" : { "_id" : { "$minKey" : 1 } }, "max" : { "_id" : { "$maxKey" : 1 } }, "shard" : "shard0002" }

Chunks：理解MongoDB分片机制的关键是理解Chunks。mongodb不是一个分片上存储一个区间，而是每个分片包含多个区间，这每个区间就是一个块

查看test数据库的shard状态：

mongos> use test

switched to db test

mongos> db.printShardingStatus();

--- Sharding Status --- 
  sharding version: {
        "_id" : 1,
        "version" : 4,
        "minCompatibleVersion" : 4,
        "currentVersion" : 5,
        "clusterId" : ObjectId("570b7a897f04575f5c7f00bf")
}
  shards:
        {  "_id" : "shard0000",  "host" : "10.8.45.11:27019" }
        {  "_id" : "shard0001",  "host" : "10.8.45.14:27020" }
        {  "_id" : "shard0002",  "host" : "10.8.26.23:27017" }
  databases:
        {  "_id" : "admin",  "partitioned" : false,  "primary" : "config" }
        {  "_id" : "test",  "partitioned" : true,  "primary" : "shard0002" }
                test.user001
                        shard key: { "_id" : 1 }
                        chunks:
                                shard0002       1
                        { "_id" : { "$minKey" : 1 } } -->> { "_id" : { "$maxKey" : 1 } } on : shard0002 Timestamp(1, 0)