集群节点间的延迟问题

集群节点间的延迟问题

mongoDB 一个弱点，就是最终一致性，这也是所有NoSQL 的一个问题。
在CAP 理论中，数据库在 (C)onsistency、(A)vailability和(P)artition-tolerance
三者只能满足两个。比如MongoDB 有更好的 高可用性，分布式。就不可避免的牺牲了 [一致性]

前段时间开发组的反映说一条记录在插入后，再查询，没有查询到，这问题还不少。

但后面测试又到重现这个问题。但延迟肯定是有的，但一直不知道具体有多严重。这里暂时先

解决办法肯定是有的，但肯定也不能完全解决。

------------------------------------------------------------------------------------------------------

在应用中，可以从以下几个方面进行避免数据[一致性] 问题。


一、监测网络是否有瓶颈，并解决。
        这点我们网络，如果是全部放在云服务器内网进行，几乎不存在，但也不能完全排除。


二、确认硬件配置上，主从是否一致（cpu,mem,io)

        现在很多的集群中，已基本上一致的。比如[业务库]，[统计库],[日志库],
        但也有例外： [标准版 正式库] 集群：[nginx101,db112,db115]，nginx101 服务器的性能更好，
        但跑了其它的应用。


        这些问题有历史原因。个人是一直建议，数据库服务器数据节点上，不要跑其它的应用。以免出现
        相互干扰问题(io,net,cpu争用)。


三、oplog 大小配置，不知会不会对延迟有影响，现在配置值为10G，数据保存大约20天左右的日志量。
个人认为应该可以减少到 3 - 5G

四、使用 readpreference 读策略

        在确实遇到有些读有延迟的问题时，可以使用读策略，把一致性强的读，放到主库进行读
        #python code
        mon_conn = pymongo.MongoClient(['mongodb://192.168.20.11:28000,192.168.20.19:28000,192.168.20.13:28000,192.168.20.15:28000,192.168.20.17:28000'],
                                   read_preference=pymongo.ReadPreference.PRIMARY)



（就我们当前版本来说，也就只有上面3种方法可以做为解决问题的处理方式了，所以建议还是优先把升级放在前位）
（以下的方法，只在3.2版本可用，当然，使用时也有利有弊，一般在日志类数据保存时也不会去使用 WriteConcern ）

四、使用WriteConcern 机制把数据同步写到多个从机

        1. 3个节点的集群中，保证2个节点插入成功，超时设置为5秒

        db.products.insert(
        { item: "envelopes", qty : 100, type: "Clasp" },
        { writeConcern: { w: 2, wtimeout: 5000 } }
        )

        2.在集群配置中设置多数插入成功才为成功。

            cfg = rs.conf()
            cfg.settings = {}
            cfg.settings.getLastErrorDefaults = { w: "majority", wtimeout: 5000 }
            rs.reconfig(cfg)

        3.使用TAG ，给各个集群节点设置标签，在插入，更新时，保证某个TAG 成功才为成功（insert,update 返回1）
            3.1 先配置节点tag

            conf = rs.conf()
            conf.members[0].tags = { "dc": "east", "use": "production" }
            conf.members[1].tags = { "dc": "east", "use": "reporting" }
            conf.members[2].tags = { "dc": "west","use": "production" }
            rs.reconfig(conf)
            
            3.2 设置错误
            conf.settings = { getLastErrorModes: { MultipleDC : { "dc": 1, "use": 1 } } }


            3.3 插入数据时，指定保存到某个tag 对应的节点（可能多个）， 才算成功(insert,update 返回1)
                db.users.insert( { id: "xyz", status: "A" }, { writeConcern: { w: "MultipleDC" } } )