近期在设计用户标签系统当中, 采用了mongodb作为标签体系的底层主要的存储系统,因此在这里先尝试下有关mongodb的shard方式集群方式安装与测试:
一. 环境部署:
1.1 版本:
MongoDB版本:mongodb-linux-x86_64-2.6.7
jdk版本: version 1.7
1.2 相关路径:
安装路径: /data/server/mongodb-2.6.7
日志路径:/data/data-dir/logs/mongodb
数据路径:/data/data-dir/mongodb
配置文件路径:/data/server/mongodb-2.6.7/conf/mongodb.conf
1.3 环境变量配置:
在mongodb系统用户路径下的.bash_profile文件中加入:
export MONGODB_HOME=/data/server/mongodb-2.6.7
export PATH=$PATH:$MONGODB_HOME/bin
二 安装方式(shard 集群部署):
shard方式当中需要部署配置服务器,路由服务器,以及N个shard 节点,并加入到mongo集群中去
2.1 配置服务器启动脚本(10.8.45.10:10000):
#!/usr/bin/env bash
source /etc/profile
LOG_DIR=/data/data-dir/logs/mongodb/config.log
nohup mongod --fork --dbpath $MONGODB_HOME/conf/ --logpath $LOG_DIR -port 10000 &
2.2 配置路由服务器启动脚本(10.8.45.10:20000):
#!/usr/bin/env bash
source /etc/profile
LOG_DIR=/data/data-dir/logs/mongodb/route.log
nohup mongos --fork --port 20000 --configdb 10.8.45.10:10000 --logpath $LOG_DIR &
注意1:配置--conigdb的时候ip地址不能填localhost或127.0.0.1否则添加分片时会返回如下错误信息:
1. { 2. "ok" : 0, 3. "errmsg" : "can't use localhost as a shard since all shards need to communicate. either use all shards and configdbs in localhost or all in actual IPs host: 192.168.71.43:27017 isLocalHost:0" 4. }
2.3 进行shard节点安装:
启动分片1(10.8.45.11:27019):
#!/usr/bin/env bash
source /etc/profile
DATA_DIR=/data/data-dir/mongodb/
LOG_DIR=/data/data-dir/logs/mongodb/shard.log
nohup mongod --fork --dbpath $DATA_DIR --logpath $LOG_DIR -port 27019 &
启动分片2(10.8.45.14:27020):
#!/usr/bin/env bash source /etc/profile DATA_DIR=/data/data-dir/mongodb/ LOG_DIR=/data/data-dir/logs/mongodb/shard.log nohup mongod --fork --dbpath $DATA_DIR --logpath $LOG_DIR -port 27020 &
启动分片3(10.8.26.23:27017):
#!/usr/bin/env bash source /etc/profile DATA_DIR=/data/data-dir/mongodb/ LOG_DIR=/data/data-dir/logs/mongodb/shard.log nohup mongod --fork --dbpath $DATA_DIR --logpath $LOG_DIR -port 27017 &
Note:在生产环境可以将启动的配置信息写入文件,然后启动的时候指定配置文件,这样便于管理:
1. vi conf/config.conf 2. bpath=data/config/ 3. logpath=log/config.log 4. port=10000 5. fork=true 6. ./bin/mongod -f conf/config.conf
添加分片1(10.8.45.11:27019):
1. mongo --port 20000 2. mongos> use admin 3. switched to db admin 4. mongos> db.runCommand({addshard:"10.8.45.10:27019"})
类似的添加分片2,3。
分片添加成功返回类似下面的信息:
1. { "shardAdded" : "shard0000", "ok" : 1 }
管理分片
进入mongos进程config库可以看到目前分片的情况:
1. mongo –port 20000 1. mongos> use config 2. switched to db config 3. mongos> db.shards.find() { "_id" : "shard0000", "host" : "10.8.45.11:27019" } { "_id" : "shard0001", "host" : "10.8.45.14:27020" } { "_id" : "shard0002", "host" : "10.8.26.23:27017" }
上节中建立好集群后,默认的是不会将存储的每条数据进行分片处理,需要在数据库和集合的粒度上都开启分片功能。
创建一个新的数据库test,并创建user001的集合,然后开启test库的分片功能:
1. mongo –port 20000 2. mongos> use admin 3. switched to db admin 4. mongos> db.runCommand({"enablesharding":"test"}) 5. { "ok" : 1 }
开启user001集合分片功能:
1. mongos> db.runCommand({"shardcollection":"test.user001","key":{"_id":1}}) 2. { "collectionsharded" : "test.user001", "ok" : 1 }
注意:需要切换到admin库执行命令。
片键:上面的key就是所谓的片键(shard key)。MongoDB不允许插入没有片键的文档。但是允许不同文档的片键类型不一样,MongoDB内部对不同类型有一个排序:
查看分片后的数据库:
1. mongo –port 20000 5. mongos> use config 6. mongos> db.databases.find()
{ "_id" : "admin", "partitioned" : false, "primary" : "config" } { "_id" : "test", "partitioned" : true, "primary" : "shard0002" }
“_id”,字符串。表示数据库名。
“partioned”,布尔型。如果为true则表示开启了分片功能。
“primary”,字符串,这个值与“_id”对应表示这个数据库的“大本营“在哪里,不论分片与否,数据库总是会有个“大本营”,创建数据库时会随机选择一个片,也就是说大本营是开始创建数据库文件的位置。虽然分片的时候数据库也会用到很多别的服务器,但是从这分片开始。
从上面可以看出,admin没有开启分片功能,而test数据库开启了shard功能,主片在shard002服务器上,而admin数据库的的数据大本营在config配置服务器上。
切换到config下:
mongos> use config
switched to db config
mongos> db.databases.find()
{ "_id" : "admin", "partitioned" : false, "primary" : "config" }
{ "_id" : "test", "partitioned" : true, "primary" : "shard0002" }
mongos> db.chunks.find()
{ "_id" : "test.user001-_id_MinKey", "lastmod" : Timestamp(1, 0), "lastmodEpoch" : ObjectId("570ba7787f04575f5c7f0842"), "ns" : "test.user001", "min" : { "_id" : { "$minKey" : 1 } }, "max" : { "_id" : { "$maxKey" : 1 } }, "shard" : "shard0002" }
Chunks:理解MongoDB分片机制的关键是理解Chunks。mongodb不是一个分片上存储一个区间,而是每个分片包含多个区间,这每个区间就是一个块
查看test数据库的shard状态:
mongos> use test
switched to db test
mongos> db.printShardingStatus();
--- Sharding Status ---
sharding version: {
"_id" : 1,
"version" : 4,
"minCompatibleVersion" : 4,
"currentVersion" : 5,
"clusterId" : ObjectId("570b7a897f04575f5c7f00bf")
}
shards:
{ "_id" : "shard0000", "host" : "10.8.45.11:27019" }
{ "_id" : "shard0001", "host" : "10.8.45.14:27020" }
{ "_id" : "shard0002", "host" : "10.8.26.23:27017" }
databases:
{ "_id" : "admin", "partitioned" : false, "primary" : "config" }
{ "_id" : "test", "partitioned" : true, "primary" : "shard0002" }
test.user001
shard key: { "_id" : 1 }
chunks:
shard0002 1
{ "_id" : { "$minKey" : 1 } } -->> { "_id" : { "$maxKey" : 1 } } on : shard0002 Timestamp(1, 0)