参考
mongodb官网分片及负载均衡方案
《基于FODO算法MongoDB自动分片的改进》
《基于DBFA算法的MongoDB负载均衡机制》
《基于冷热数据的MongoDB自动分片机制》
《基于数据温度的冷热数据识别机制研究》
机器学习分类算法
context
单机INM语法层移植不完全,但部分数据可以被存入MongoDB。
在进行移植的同时,考虑DPINM的架构。
出于DPINM1.0并发读写性能的低效,优先考虑分片
以及负载均衡
问题。
由于当前INM底层替换为了MongoDB,需要在此基础上考虑分片及平衡问题。
因此首先参考了MongoDB官方的解决方案。
经过一定的源码阅读,MongoDB的哈希分片方案已经比较成熟,鲜有分片优化方案相关的论文。
而负载均衡方面,MongoDB采用的基于数据量
的auto-sharding负载均衡方案,在硬件不断升级的情况下,出现了相关的改进论文。
负载均衡优化
平衡的三个步骤
MongoDB会将数据存到数据片中,而数据片会根据数据量大小从一个数据块chunk慢慢分裂开来。
而客户端传给mongos的CRUD等操作的基础单位实际上是chun