什么是分片?
分片是一种数据库架构模式,涉及将数据库划分为更小、更快、更易于管理的部分,称为分片。每个分片都是一个不同的数据库,这些分片共同构成了整个数据库。分片对于管理大型数据库特别有用,可以显着提高性能、可维护性和可扩展性。
主要特点
-
数据分布: 分片可以分布在多个服务器上,从而减少任何单个服务器上的负载并缩短响应时间。
-
水平分区:分片通常涉及水平分区,其中数据库表的行单独保存,而不是划分表本身(垂直分区)。
-
独立性: 每个分片独立运行。因此,对一个分片的查询不会影响另一个分片的性能。
部署分片集群
环境准备
每个分片都应该安装MongoDB实例,和前面的主从复制类似,也需要将bin文件复制到每个分片中,并且创建data文件以及log文件存放数据库数据和日志数据
先创建两个shard
再shard1中再创建shard11和shard12,shard2同理
启动分片服务
启动分片服务1
进入要分片的数据库bin目录中,启动cmd
mongod --shardsvr --replSet shard1 -port 4006 -dbpath E:\XL\shard1\shard11\data -logpath E:\XL\shard1\shard11\log\shard11.log
--shardsvr为分片声明
不要关闭此窗口,最小化即可
再次进入要分片的数据库bin目录中,启动cmd
mongod --shardsvr --replSet shard1 -port 4007 -dbpath E:\XL\shard1\shard12\data -logpath E:\XL\shard1\shard12\log\shard12.log
启动分片服务2
进入要分片的数据库bin目录中,再次启动cmd
mongod --shardsvr --replSet shard2 -port 4008 --dbpath E:\XL\shard2\shard21\data -logpath E:\XL\shard2\shard21\log\shard21.log
进入要分片的数据库bin目录中,再再次启动cmd
mongod --shardsvr --replSet shard2 -port 4009 --dbpath E:\XL\shard2\shard22\data -logpath E:\XL\shard2\shard22\log\shard22.log
进入分片一初始化分片集
在shard1中的bin目录启动cmd
进入4006,配置数据信息
config={_id:"shard1",members:[
... {_id:0,host:"localhost:4006",priority:1},
... {_id:1,host:"localhost:4007",priority:2}
... ]}
初始化
进入分片二 初始化分片集
进入4008,配置数据
config={_id:"shard2",members:[
... {_id:0,host:"localhost:4008",priority:2},
... {_id:1,host:"localhost:4009",priority:1}
... ]}
配置启动Config Server
在MongoDB 3版本后config服务必须配置为从副本集,所以直接用前面设置好了的副本启动即可
同上,每个文件夹添加data和log,一共两个案例;两个cmd窗口
启动Config1:
进入要分片的数据库bin目录中
mongod --configsvr --replSet confset -port 4002 -dbpath E:\XL\config\config1\data -logpath E:\XL\config\config1\log\conf1.log
--configsvr 这里我们完全可以像启动普通MongoDB服务一样启动,不需要添加-shardsvr和configsvr参数。因为这两个参数的作用就是改变启动端口,所以自行指定了端口就可以
两个案列共两个窗口,一次性启动服务,不要关闭cmd窗口,最小化即可
启动Config2:
mongod --configsvr --replSet confset -port 4003 -dbpath E:\XL\config\config2\data -logpath E:\XL\config\config2\log\conf2.log
进入任何一个配置服务器的节点初始化配置服务的群集
重新打开一个cmd,在bin目录下
配置数据信息
config={_id:"confset",configsvr:true,members:[
... {_id:0,host:"localhost:4002"},
... {_id:1,host:"localhost:4003"}
... ]}
配置路由器服务器Route Process
可以创建专门的文件夹存放日志
在进入要分片的数据库bin目录中启动cmd
mongos --configdb confset/localhost:4002,localhost:4003 -logpath E:\XL\mongos\log\mongos.log -port 4000
mongos:mongos就是一个路由服务器,它会根据管理员设置的“片键”将数据分摊到自己管理的MongoDB集群,数据和片的对应关系以及相应的配置信息保存在“config服务器”上
配置分片sharding,添加分片索引
bin目录下使用MongoDB shell 登录到mongos ,添加shard节点
sh.addShard("shard1/localhost:4006,localhost:4007")
sh.addShard("shard2/localhost:4008,localhost:4009")
查看分片集
db.getSiblingDB("config").shards.finf()
mongodb分片测试
登录4000端口
指定要分片的数据库
sh.enableSharding("test")
指定数据库里需要分片的集合和片键,片键根据实际情况选择
sh.shardCollection("test.c2",{"id":"hashed"})//"hashed"表示哈希分片
sh.shardCollection("test.c2",{"id":1})//1表示范围分片
如果集合已经包含数据,则必须在分片集合之前创建一个支持分片键的索引,如果集合为空,则mongodb将创建索引
向test库里的c2集合插入10000条数据
for (var i=1;i<=10000;i++) db.c2.save({id:i,"test1":"testval"+i})
#查看c2信息
sh.status()
robo 3T查看分片集
robo 3T链接4000端口进行查看
也可以连接两个shard端口查看分片情况
最后
重新打开MongoDB服务,即可像原来一样使用,但数据存储方式和原来已经不一样了,变成了分布式的分片存储。