network
文章平均质量分 81
kevinlynx
走在深化技术的路上,准备重新带好一个团队,做好一个产品
展开
-
zookeeper节点数与watch的性能测试
zookeeper中节点数量理论上仅受限于内存,但一个节点下的子节点数量受限于request/response 1M数据 (size of data / number of znodes)zookeeper的watch机制用于数据变更时zookeeper的主动通知。watch可以被附加到每一个节点上,那么如果一个应用有10W个节点,那zookeeper中就可能有10W个watch(甚至更多原创 2014-09-21 20:56:26 · 24467 阅读 · 0 评论 -
分布式环境中的负载均衡策略
在分布式系统中相同的服务常常会部署很多台,每一台被称为一个服务节点(实例)。通过一些负载均衡策略将服务请求均匀地分布到各个节点,以实现整个系统支撑海量请求的需求。本文描述一些简单的负载均衡策略。Round-robin简单地轮询。记录一个选择位置,每次请求来时调整该位置到下一个节点:curId = ++curId % nodeCnt随机选择随机地在所有节点中选择:id =原创 2014-09-14 16:31:44 · 1470 阅读 · 0 评论 -
淘宝分布式配置管理服务Diamond
在一个分布式环境中,同类型的服务往往会部署很多实例。这些实例使用了一些配置,为了更好地维护这些配置就产生了配置管理服务。通过这个服务可以轻松地管理这些应用服务的配置问题。应用场景可概括为:zookeeper的一种应用就是分布式配置管理(基于ZooKeeper的配置信息存储方案的设计与实现)。百度也有类似的实现:disconf。Diamond则是淘宝开源的一种分布式配置管理服务的实现。D原创 2014-10-12 12:57:34 · 21094 阅读 · 0 评论 -
图解分布式一致性协议Paxos
Paxos协议/算法是分布式系统中比较重要的协议,它有多重要呢?:Google Chubby的作者Mike Burrows说过这个世界上只有一种一致性算法,那就是Paxos,其它的算法都是残次品。:理解了这两个分布式协议之后(Paxos/2PC),学习其他分布式协议会变得相当容易。学习Paxos算法有两部分:a) 算法的原理/证明;b) 算法的理解/运作。理原创 2014-10-15 22:42:50 · 9505 阅读 · 0 评论 -
图解zookeeper FastLeader选举算法
zookeeper配置为集群模式时,在启动或异常情况时会选举出一个实例作为Leader。其默认选举算法为FastLeaderElection。不知道zookeeper的可以考虑这样一个问题:某个服务可以配置为多个实例共同构成一个集群对外提供服务。其每一个实例本地都存有冗余数据,每一个实例都可以直接对外提供读写服务。在这个集群中为了保证数据的一致性,需要有一个Leader来协调一些事务。那么问题原创 2014-10-19 15:56:18 · 4269 阅读 · 0 评论