MongoDB分布式存储之分片技术

本文以做实验为目的,所以用windows,生产环境时Linux也是类似配置


在mongodb里面存在另一种集群,就是分片技术,跟mysql cluster类似,有管理节点,有数据存储片,屏蔽应用层的复杂逻辑,透明的调用,具有水平动态扩展,数据片支持副本集防止单点故障,failover,


一:分片

     mongodb采用将集合进行拆分,然后将拆分的数据均摊到几个片上的一种解决方案。

 

下面我对这张图解释一下:

     人脸:       代表客户端,客户端肯定说,你数据库分片不分片跟我没关系,应用逻辑不需要更改

     mongos: 首先我们要了解”片键“的概念,也就是说拆分集合的依据是什么?按照什么键值进行拆分集合....

                     好了,mongos就是一个路由服务器,它会根据管理员设置的“片键”将数据分摊到自己管理的mongod集群,数据

                    和片的对应关系以及相应的配置信息保存在"config服务器"上。

    mongod:   一个普通的数据片实例,如果不分片的话,我们会直接连上mongod。数据被config服务器水平分摊

 

二: 实战

    首先我们准备4个mongodb程序,我这里是均摊在data\1,2, 以及config文件夹上,最好设置下环境变量E:\mongodb\bin

1:开启config服务器

      先前也说了,mongos要把mongod之间的配置放到config服务器里面,理所当然首先开启它,我这里就建立2222端口。

mongod --dbpath=E:\mongodb\shard\config --port 2222

 

2: 开启mongos服务器

    这里要注意的是我们开启的是mongos,不是mongod,同时指定下config服务器,这里我就开启D盘上的mongodb,端口3333。

mongos --port 3333 --configdb=127.0.0.1:2222    //mongos,本身只是起代理作用,所以mongos不需要指定dbpath存储路径


 

3:启动mongod服务器

     对分片来说,也就是要添加片了,这里开启mongodb,端口为:4444,5555。

mongod --dbpath=E:\mongodb\shard\data\1 --port 4444    //可加上 --directoryperdb 数据库按目录存储

mongod --dbpath=E:\mongodb\shard\data\1 --port 5555 


 

4: 服务配置

  

 <1> 先前看到,我们client直接跟mongos打交道,也就说明我们要连接mongos服务器,然后将4444,5555的mongod

         交给mongos,添加分片也就是addshard()。

这里要注意的是,在addshard中,我们也可以添加副本集

db.runCommand({addshard:"group1/127.0.0.1:4444,127.0.0.1:5555"}) 这里意思是4444和5555是一个group1副本集,后期再增加

时可以db.runCommand({addshard:"group1/127.0.0.1:6666"})

group1起标识作用,后续继续添加起作用

有了副本集这样能达到更高的稳定性。防止单点故障

 

<2>片已经集群了,但是mongos不知道该如何切分数据,也就是我们先前所说的片键,在mongodb中设置片键要做两步

        ①:开启数据库分片功能,命令很简单 enablesharding(),这里我就开启test数据库。

        ②:指定集合中分片的片键,这里我就指定为person.name字段。name字段必须先建立索引,db.person.ensureIndex({name:1})

否则会报错且一定要进入admin数据库,本地测试需要加上allowLocal

 

5: 查看效果

好了,至此我们的分片操作全部结束,接下来我们通过mongos向mongodb插入10w记录,然后通过printShardingStatus命令

查看mongodb的数据分片情况。

 这里主要看三点信息:

  ① shards:     我们清楚的看到已经别分为两个片了,shard0000和shard0001。

  ② databases:  这里有个partitioned字段表示是否分区,这里清楚的看到test已经分区。

  ③ chunks:     这个很有意思,我们发现集合被砍成四段:

                           无穷小 —— jack0,jack0 ——jack234813,jack234813——jack9999,jack9999——无穷大。

                           分区情况为:3:1,从后面的 on shardXXXX也能看得出。



注:mongodb参数可以以文件形式启动

参数都可以写入 mongod.conf 配置文档里例如:
dbpath = /data/mongodb
logpath = /data/mongodb/mongodb.log
logappend = true
port = 27017
fork = true
auth = true


mongod -f mongod.conf

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值