MongoDB Replica Sets + Sharding 方案及 chunks块和片键分析

最新推荐文章于 2023-02-08 23:55:32 发布

Nets9527

最新推荐文章于 2023-02-08 23:55:32 发布

阅读量531

点赞数

分类专栏： mongodb

mongodb 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

以下就是我们将要搭建的mongdb集群架构

创建第一个replset

---------------------------------------------------------------------------------------------------------------------------------------------------

创建目录

mkdir -p /data/replset_sharding/replset1/r0

mkdir -p /data/replset_sharding/replset1/r1

mkdir -p /data/replset_sharding/replset1/r2

mkdir -p /data/replset_sharding/replset1/log

改用下面的就行了（这是里为方便看日志，直接在命令行输出查看）

/Apps/mongo/bin/mongod --dbpath /data/replset_sharding/replset1/r0 --replSet replset1 --port 18010 --directoryperdb --rest

/Apps/mongo/bin/mongod --dbpath /data/replset_sharding/replset1/r1 --replSet replset1 --port 18011 --directoryperdb --rest

/Apps/mongo/bin/mongod --dbpath /data/replset_sharding/replset1/r2 --replSet replset1 --port 18012 --directoryperdb --rest

初始化复本集：

/Apps/mongo/bin/mongo --port 18010

config_replset1 = {

_id:"replset1",

members:

[

{_id:0,host:"127.0.0.1:18010",priority:4},

{_id:1,host:"127.0.0.1:18011",priority:2},

{_id:2,host:"127.0.0.1:18012",arbiterOnly : true}

]

}

注意arbiter仲裁节点只投票,不接收复制的数据!

rs.initiate(config_replset1);

---------------------------------------------------------------------------------------------------------------------------------------------------

创建第二个replset

---------------------------------------------------------------------------------------------------------------------------------------------------

创建目录

mkdir -p /data/replset_sharding/replset2/r0

mkdir -p /data/replset_sharding/replset2/r1

mkdir -p /data/replset_sharding/replset2/r2

mkdir -p /data/replset_sharding/replset2/log

改用下面的就行了（这是里为方便看日志，直接在命令行输出查看）

/Apps/mongo/bin/mongod --dbpath /data/replset_sharding/replset2/r0 --replSet replset2 --port 28010 --directoryperdb --rest

/Apps/mongo/bin/mongod --dbpath /data/replset_sharding/replset2/r1 --replSet replset2 --port 28011 --directoryperdb --rest

/Apps/mongo/bin/mongod --dbpath /data/replset_sharding/replset2/r2 --replSet replset2 --port 28012 --directoryperdb --rest

初始化复本集：

/Apps/mongo/bin/mongo --port 28010

config_replset2 = {

_id:"replset2",

members:

[

{_id:0,host:"127.0.0.1:28010",priority:4},

{_id:1,host:"127.0.0.1:28011",priority:2},

{_id:2,host:"127.0.0.1:28012",arbiterOnly : true}

]

}

注意arbiter仲裁节点只投票,不接收复制的数据!

rs.initiate(config_replset2);

---------------------------------------------------------------------------------------------------------------------------------------------------

创建第三个replset

---------------------------------------------------------------------------------------------------------------------------------------------------

创建目录

mkdir -p /data/replset_sharding/replset3/r0

mkdir -p /data/replset_sharding/replset3/r1

mkdir -p /data/replset_sharding/replset3/r2

mkdir -p /data/replset_sharding/replset3/log

改用下面的就行了（这是里为方便看日志，直接在命令行输出查看）

/Apps/mongo/bin/mongod --dbpath /data/replset_sharding/replset3/r0 --replSet replset3 --port 38010 --directoryperdb --rest

/Apps/mongo/bin/mongod --dbpath /data/replset_sharding/replset3/r1 --replSet replset3 --port 38011 --directoryperdb --rest

/Apps/mongo/bin/mongod --dbpath /data/replset_sharding/replset3/r2 --replSet replset3 --port 38012 --directoryperdb --rest

初始化复本集：

/Apps/mongo/bin/mongo --port 38010

config_replset3 = {

_id:"replset3",

members:

[

{_id:0,host:"127.0.0.1:38010",priority:4},

{_id:1,host:"127.0.0.1:38011",priority:2},

{_id:2,host:"127.0.0.1:38012",arbiterOnly : true}

]

}

注意arbiter仲裁节点只投票,不接收复制的数据!

rs.initiate(config_replset3);

---------------------------------------------------------------------------------------------------------------------------------------------------

//创建数据库，日志文件

mkdir -p /data/replset_sharding/log

--------------------------------------------------------------------------------

1，启动Config Server, Config Server : 40000,40001,40002

mkdir -p /data/replset_sharding/config0

mkdir -p /data/replset_sharding/config1

mkdir -p /data/replset_sharding/config2

/Apps/mongo/bin/mongod --dbpath /data/replset_sharding/config0 --configsvr --port 40000 --directoryperdb --rest

/Apps/mongo/bin/mongod --dbpath /data/replset_sharding/config1 --configsvr --port 40001 --directoryperdb --rest

/Apps/mongo/bin/mongod --dbpath /data/replset_sharding/config2 --configsvr --port 40002 --directoryperdb --rest

正式运行要后台运行就用下面的：

/Apps/mongo/bin/mongod --dbpath /data/replset_sharding/config --configsvr --port 40000 --logpath /data/replset_sharding/log/config.log --fork --directoryperdb --rest

------------------------------------------------------------------------------------------------------------------------------

以上的3个Config Server里存放集群分片的配置信息,如果Config Server出问题是无法正常启动集群的!

配置服务器使用的是两步提交机制(而不是普通MongoDB副本集的异步复制),因为两步提交是实时的一致性,

而异步复制是最终一致性!

两步提交机制确保3台机的配置是一致的,如果有某台配置服务器宕机了,那集群配置信息将是只读的!

客户端还是能够读取集群的数据,还有能有限地更新集群的数据(只要不需要修改配置服务器的配置,如chunks块的修改,或片键的修改)

PS:整个集群的admin数据库是存放在Config Sever中的,而3台Config Server不止数据库config是同步的,而且数据库admin也是同步的

--------------------------------------------------------------------------------

2，启动Route Process,Route Process : 50000

/Apps/mongo/bin/mongos --port 50000 --configdb 127.0.0.1:40000,127.0.0.1:40001,127.0.0.1:40002 --chunkSize 1

--chunkSize 1 (MB)指定分片的最小单位容量，这里设置1M，方便查看效果

正式运行要后台运行就用下面的：

/Apps/mongo/bin/mongos --port 50000 --configdb 127.0.0.1:40000 --chunkSize 50 --logpath=/data/replset_sharding/log/route.log --fork

--------------------------------------------------------------------------------

3，连接到mongos配置Sharding

用Mongo Shell 登录 Route Process

/Apps/mongo/bin/mongo --port 50000

use admin (记得执行这一点,切换到admin数据库)

//添加分片节点,每个分片都是一个副本集

db.runCommand({addshard:"replset1/127.0.0.1:18010,127.0.0.1:18011,127.0.0.1:18012",allowLocal:true})

db.runCommand({addshard:"replset2/127.0.0.1:28010,127.0.0.1:28011,127.0.0.1:28012",allowLocal:true})

db.runCommand({addshard:"replset3/127.0.0.1:38010,127.0.0.1:38011,127.0.0.1:38012",allowLocal:true})

(allowLocal:true仅仅开发时才将分片配置到本地,生产时不能这样)

-----------------------------------------------------------------------------------

如图:配置信息被添加到Config Server的config数据库的shards集合中:

你会发觉,arbiter仲裁节点因为不接收数据,所以直接被mongos在配置阶段就去掉,

db.runCommand({addshard:"replset1/127.0.0.1:18010,127.0.0.1:18011,127.0.0.1:18012",allowLocal:true})

等价于:db.runCommand({addshard:"replset1/127.0.0.1:18010,127.0.0.1:18011",allowLocal:true})

-----------------------------------------------------------------------------------

//A,配置数据库mydb，启用分片

use admin

db.runCommand({enablesharding:"mydb"})

此时数据库mydb是以分片replset3为基片(primary shard)

mydb被配置成启用分片后,配置信息是存放在配置服务器的数据库config的databases集合里!

//B,设置要分片的集合:使集合users以片键_id来分片

db.runCommand({shardcollection:"mydb.users",key:{_id:1}})

mydb的users集合被配置成启用分片后,配置信息是存放在配置服务器的数据库config的collections集合里!

--------------------------------------------------------------------------------

这里可以看到,路由服务器是不会存放配置信息(不用配置dbpath也是这个原因,但会缓存配置服务器上的配置!)

5,Sharding,递增片键方式插入数据

/Apps/mongo/bin/mongo --port 50000

use mydb

测试插入60万条数据

for(var i=1; i<=600000; i++) db.users.insert({age:i,name:"jack",addr:"guangzhou",country:"China"})

use admin

执行:

db.runCommand({enablesharding:"mydb"})使数据库启用分片

db.runCommand({ shardcollection:"mydb.users",key:{_id:1} }) 使集合users以_id为Sharding Key分片

然后等几分钟,集合users的数据就均匀分布到各个分片,分片完成

1,先看看每个trunk,这里测试需要,设置了1MB/trunk,如图

每个trunk记录了片键的范围,还有所在的片

--------------------------------------------------------------------------

因为Sharding key 是ObjectId

这里ObjectId就像一个递增片键,插入时不能均匀地路由到各片,此时写入的负载很不均匀,集中在一台机器上!

如图:Balancer正在移动分片的块chunk

在递增片键的情况下,数据刚插入完后,数据的分片不均匀,所以数据插入完后,mongos就会用Balancer进行数据的负载均衡!

如: Balancer正在执行负载均衡,此时要用到锁,MongoDB 2.2.0 引入了DB级别的锁,不知道分片时是不是也是DB级别的锁呢?

这会锁定分片的数据库mydb

图: mongos的Balancer正在执行负载均衡

图: mongos的Balancer正在执行负载均衡

-----------------------------------------------------------------------------

过了10+分钟的状态,此时应该分片"均匀"了..

细心发觉,怎么"均匀"呢??每个片的chunks是均匀了,每个片的chunks都是33个,

因为片replset2是数据库mydb的primary片(上图),又因为此时是递增片,开始时60万条记录全部都

插入到这个片中,又因为我们给mongos设置的--chunkSize是1Mb,所以给replset2片均衡数据时,

使其每个trunk的size均衡到接近1M就可以了(实际是1.1),

6,Sharding,随机片键方式插入数据

/Apps/mongo/bin/mongo --port 50000

use admin

执行:

db.runCommand({enablesharding:"mydb"})使数据库启用分片

db.runCommand({ shardcollection:"mydb.user2",key:{shardkey:1} }) 使集合user2以shardkey为Sharding Key分片

空集合user2以shardkey为Sharding Key分片后,就会在配置服务器分配一个(-∞,+∞)的chunks块给数据库mydb的基片replset3,

基片很重要,对于一个不分片的集合是存放在基片中的,而对于分片的集合,每一个无限大的chunks块也是分配给基片的!

use mydb

测试插入60万条数据,这里生成的shardkey

for(var i=1; i<=600000; i++) db.user2.insert({name:"a long name",age:i,addr:"a long address guangzhou",country:"China", shardkey: Math.random()})

因为刚开始里,配置服务器里没有chunks块,第一个无限大的块位于基片上,而后来边向数据库插入数据边分裂出更细的chunks块,

这时分裂出的块主要分布在基片shard000上所以导致插入操作集中在基片上执行!

现在把集合user2里的数据全部remove掉!那集合就是剩下chunks块的信息(在配置服务器里)

图:集合user2清空后,各片的chunks块数量也不均匀

图:没数据,也会对各片进行chunks块数量调整,直至数量平均!

(再次说明:

mongos路由负载均衡的本质是:

在后台对各片进行负载均衡,直至各片的chunks块数量相等!

)

向已有69个chunks块(块分布均匀)的空集合插入30万个随机键的文档

for(var i=1; i<=300000; i++) db.user2.insert({name:"a long name",age:i,addr:"a long address guangzhou",country:"China", shardkey: Math.random()})

可见, 向已有69个chunks块(块分布均匀)的空集合插入30万个随机键的文档

整个插入过程是相当均匀!而块的数量仅仅增加了6块,就是说30万个文档几乎全部"命中"已存在的各个块!

-------------------------------------------------------------------------------------------

8,测试6和7的小结

1:如果刚开始对于新的集合,配置服务器里没有该集合的chunks块信息,这里无论是递增键或随机键,

数据的插入过程也不会均匀,甚至有可能集中在某台机器上,然后mongos再来执行负载均衡

2: mongos路由会在后台对各片进行负载均衡,直至各片的chunks块数量相等!

3: 对于负载均衡的Sharding Cluster(各片的chunks块数量相等),对于随机键的操作会非常有效,基本整个过程是很均匀的

而此时递增键的操作还是会出现严重的负载不均衡的情况!

--------------------------------------------------------------------------------

5,对现有的表执行Sharding

/Apps/mongo/bin/mongo --port 50000

use mydb

测试插入60万条数据

for(var i=1; i<=600000; i++) db.users.insert({age:i,name:"irelandken",addr:"guangzhou",country:"China"})

然后等几分钟,集合users的数据就均匀分布到各个分片,分片完成

--------------------------------------------------------------------------------

6,移除Shard Server,回收数据

db.runCommand({"removeshard" : "127.0.0.1:38010"})

因为127.0.0.1:38010是数据库test和mydb的Primary片"primary" : "shard0000"基片,所以要手动移动数据库的基片

如:

/* 1 */

{

"_id" : "test",

"partitioned" : true,

"primary" : "shard0000"

}

/* 2 */

{

"_id" : "mydb",

"partitioned" : true,

"primary" : "shard0000"

}

手动修改数据库test的基片,改为127.0.0.1:38011

执行:

mongos> db.runCommand({"moveprimary" : "test","to" : "127.0.0.1:38011"})

{ "primary " : "shard0001:127.0.0.1:38011", "ok" : 1 }

手动修改数据库test的基片,改为127.0.0.1:38011

执行:

mongos> db.runCommand({"moveprimary" : "mydb","to" : "127.0.0.1:38011"})

{ "primary " : "shard0001:127.0.0.1:38011", "ok" : 1 }

依赖要删除的片的关系全部删除后,再找执行一次:

db.runCommand({"removeshard" : "127.0.0.1:38010"})

mongos> db.runCommand({"removeshard" : "127.0.0.1:38010"})

{

"msg" : "removeshard completed successfully",

"state" : "completed",

"shard" : "shard0000",

"ok" : 1

}

mongos分回收该片的数据,平均到其它片,然后在分片集群中移除该片!

多次调用这一句,中间可以看到进行的进度!此操作对用户完全透明,不需要停机操作!

--------------------------------------------------------------------------------

7,新增Shard Server

连接到mongos

因为在各分片里存在数据库test和mydb的集合的分片,而规定加入的新mongod不能含有相同的数据库

(试想如果加入的数据库含有数据库mydb,且其中含有一定数量的数据,此数据一定要被删除)

向mongos新加入的Shard Server一定不能含有与其它片相同的数据库的!

use admin

db.runCommand({addshard:"127.0.0.1:38010",allowLocal:true})

新的片被加入后,mongos再次将次执行负载均衡,将数据均匀到各片中!

--------------------------------------------------------------------------------

从各部分的LOG来看,只有节点Shard Server和路由Route Process是比较"忙"的,Config Server好像仅仅只是同步Route Process的配置而已,

因为路由Route Process不会持久化数据,Config Server为它存放配置

感觉路由Route Process是一个Facade,外部看来是一个数据库

原文地址:http://blog.csdn.net/irelandken/article/details/8003195

Nets9527

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
MongoDB Replica Sets + Sharding 方案及 chunks块和片键分析

以下就是我们将要搭建的mongdb集群架构创建第一个replset---------------------------------------------------------------------------------------------------------------------------------------------------创建目录mk
复制链接

扫一扫