分片集群
高数据量和吞吐量的数据库应用会对单机的性能造成较大压力,大的查询量会将单机的CPU耗尽,大的数据量对单机的存储压力较大,最终会耗尽系统的内存而将压力转移到磁盘IO上。
为了解决这些问题,有两个基本的方法: 垂直扩展和水平扩展。
垂直扩展:增加更多的CPU和存储资源来扩展容量。
水平扩展:将数据集分布在多个服务器上。水平扩展即分片。
原理介绍
分片(sharding)是MongoDB用来将大型集合分割到不同服务器(或者说一个集群)上所采用的方法。
例如,如果数据库1tb的数据集,并有4个分片,然后每个分片可能仅持有256 GB的数据。如果有40个分片,那么每个切分可能只有25GB的数据。
MongoDB中数据的分片是以集合为基本单位的,集合中的数据通过片键(Shard key)被分成多部分。其实片键就是在集合中选一个键,用该键的值作为数据拆分的依据。
一般片键采用范围或哈希的方式进行分片。
集群搭建
环境准备
先创建一个如下的目录结果:
- 在root目录下创建mongodb目录。内部依次创建文件夹(node1,node2,node3)。
- 在node1文件夹下创建:config-server1,mongos1,shard11,shard21文件夹
- config-server1目录下创建backup,config,db文件夹
- mongos1,shard11,shard21同上创建
- 在node2和node3文件夹下创建
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-h5CAH9FB-1685004349951)(assets/image-20210829204356767.png)]
配置服务
创建容器
进入node1,node2,node3的config-serverx目录。执行docker命令创建并启动docker容器
配置服务1
#进入目录
cd /root/mongodb/node1/config-server1
#创建并启动容器。
docker run --restart=always --privileged=true -p 10021:27019 -v $PWD/config:/etc/mongod -v $PWD/db:/data/db -d --name pro-file-server-config1 mongo:4.0.0 -f /etc/mongod/config.conf --configsvr --replSet "rs-file-server-config-server" --bind_ip_all
配置服务2
#进入目录
cd /root/mongodb/node2/config-server2
#创建并启动容器。
docker run --restart=always --privileged=true -p 10022:27019 -v $PWD/config:/etc/mongod -v $PWD/db:/data/db -d --name pro-file-server-config2 mongo:4.0.0 -f /etc/mongod/config.conf --configsvr --replSet "rs-file-server-config-server" --bind_ip_all
配置服务2