mongodb分片集群与监控

简介

MongoDB分片（Sharding）技术
分片（sharding）是MongoDB用来将大型集合分割到不同服务器（或者说一个集群）上所采用的方法。尽管分片起源于关系型数据库分区，但MongoDB分片完全又是另一回事。和MySQL分区方案相比， MongoDB的最大区别在于它几乎能自动完成所有事情，只要告诉MongoDB要分配数据，它就能自动维护数据在不同服务器之间的均衡。

MongoDB分片介绍
分片的目的 . 高数据量和吞吐量的数据库应用会对单机的性能造成较大压力,大的查询量会将单机的CPU耗尽,大的数据量对单机的存储压力较大,最终会耗尽系统的内存而将压力转移到磁盘IO上。
. 为了解决这些问题,有两个基本的方法: 垂直扩展和水平扩展。
垂直扩展：增加更多的CPU和存储资源来扩展容量。
水平扩展：将数据集分布在多个服务器上。水平扩展即分片。

分片设计思想
片为应对高吞吐量与大数据量提供了方法。使用分片减少了每个分片需要处理的请求数，因此，通过水平扩展，集群可以提高自己的存储容量和吞吐量。举例来说，当插入一条数据时，应用只需要访问存储这条数据的分片. 使用分片减少了每个分片存储的数据。例如，如果数据库1tb的数据集，并有4个分片，然后每个分片可能仅持有256GB的数据。如果有40个分片，那么每个切分可能只有25GB的数据。

分片机制提供了如下三种优势

1. 对集群进行抽象，让集群“不可⻅” MongoDB自带了一个叫做mongos的专有路由进程。 mongos就是掌握统一路口的路由器，其会将客户端发来的请求准确无误的路由到集群中的一个或者一组服务器上，同时会把接收到的响应拼装起来发回到客户端。

2.保证集群总是可读写 MongoDB通过多种途径来确保集群的可用性和可靠性。将MongoDB的分片和复制功能结合使用，在确保数据分片到多台服务器的同时，也确保了每分数据都有相应的备份，这样就可以确保有服务器换掉时，其他的从库可以立即接替坏掉的部分继续工作。

3.使集群易于扩展当系统需要更多的空间和资源的时候， MongoDB使我们可以按需方便的扩充系统容量。

分片集群架构
Config：存储集群所有节点、分片数据路由信息。默认需要配置3个Config Server节点
Mongos：提供对外应用访问，所有操作均通过mongos执行。一般有多个mongos节点。数据迁移和数据自动平衡。
Mongod：存储应用数据记录。一般有多个Mongod节点，达到数据分片目的。

分片集群的构造
1.mongos ：数据路由，和客户端打交道的模块。 mongos本身没有任何数据，他也不知道该怎么处理这数据，去找config server
2.config server：所有存、取数据的方式，所有shard节点的信息，分片功能的一些配置信息。可以理解为真实数据的元数据。
3.shard：真正的数据存储位置，以chunk为单位存数据。 Mongos本身并不持久化数据， Sharded cluster所有的元数据都会存储到Config Server，而用户的数据会议分散存储到各个shard。 Mongos启动后，会从配置服务器加载元数据，开始提供服务，将用户的请求正确路由到对应的碎片。

Mongos的路由功能
当数据写入时， MongoDB Cluster根据分片键设计写入数据。 . 当外部语句发起数据查询时， MongoDB根据数据分布自动路由至指定节点返回数据。

部署分片集群

这里使用多实例的方法做

角色	IP：127.0.0.1
configsvr	使用28017、 28018、 28019端口
router	使用27017、 27018端口
shardsvr	使用29017、 29018、 29019、 29020端口

正常环境shardsvr是两个副本集每个副本集里有三台服务器，这里我每个只用了两台

configsvr配置

创建配置文件mongodb.conf（搭建mongodb看前面几章）

[root@mongodb mongodb]# mkdir {28017..28019}
[root@mongodb mongodb]# cd 28017/
[root@mongodb ~]# vim /data/mongodb/28017/mongodb.conf
systemLog:
  destination: file
  logAppend: true
  path: /data/mongodb/28017/mongodb.log
storage:
  dbPath: /data/mongodb/28017
  journal:
    enabled: true
processManagement:
  fork: true
net:
  port: 28017
  bindIp: 127.0.0.1
replication:
  replSetName: testconf
sharding:
  clusterRole: configsvr

其他两个节点修改相应端口

[root@mongodb mongodb]# sed 's/28017/28018/g' mongodb.conf > /data/mongodb/28018/mongodb.conf
[root@mongodb 28017]# sed 's/28017/28019/g' mongodb.conf > /data/mongodb/28019/mongodb.conf

启动实例

[root@mongodb mongodb]# mongod -f /data/mongodb/28017/mongodb.conf 
[root@mongodb mongodb]# mongod -f /data/mongodb/28018/mongodb.conf 
[root@mongodb mongodb]# mongod -f /data/mongodb/28019/mongodb.conf
[root@mongodb mongodb]# ss -antpl | grep mong
LISTEN     0      128    127.0.0.1:28017                    *:*                   users:(("mongod",pid=9626,fd=11))
LISTEN     0      128    127.0.0.1:28018                    *:*                   users:(("mongod",pid=9665,fd=11))
LISTEN     0      128    127.0.0.1:28019                    *:*                   users:(("mongod",pid=9704,fd=11))

<