2016年09月_超人汪小建(seaboat)

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 ZAB协议

zookeeper依赖zab协议来实现分布式数据一致性.基于该协议,zookeeper实现了一种主备模式的系统架构来保持ZooKeeper为高可用的一致性协调框架，自然的ZooKeeper也有着一致性算法的实现，ZooKeeper使用的是ZAB协议作为数据一致性的算法， ZAB（ZooKeeper Atomic Broadcast ）全称为：原子消息广播协议；ZAB可以说是在Paxos算法基础上进

2016-09-29 09:16:26 9623 7

原创 Hazelcast集群原理分析

简介hazelcast其中一个很重要的应用就是可以将多个应用服务器组成一个分布式环境的应用，形成一个cluster。这个cluster可以选举出一个master来对外工作。而cluster中的各台服务器之间有数据同步机制和数据备份机制，来避免因为单个节点挂掉而导致数据丢失和cluster的失效。数据存储在分布式内存中，hazelcast可以保证数据在各个节点的均匀分布，可以增加节点和减少节点，而这个

2016-09-27 09:34:11 13166 1

原创 Zookeeper总概

zookeeper是一个开源的分布式协调服务.是典型的分布式数据一致性的解决方案. zookeeper可以保证以下分布式一致性的特性 1. 顺序性:同一客户端发起的事务请求,最终会严格的按照发出顺序应用到zookeeper上 2. 原子性:事务请求的执行结果在集群机器上要么全部成功,要么全部失败,不存在部分成功,部分失败的结果. 3. 单一视图:客户端无论连接到哪个zookeeper服务端,

2016-09-23 14:42:44 3867 2

原创从操作系统内核看Java非阻塞IO事件检测

非阻塞服务器模型最重要的一个特点是，在调用读取或写入接口后立即返回，而不会进入阻塞状态。在探讨单线程非阻塞IO模型前必须要先了解非阻塞情况下Socket事件的检测机制，因为对于非阻塞模式最重要的事情是检测哪些连接有感兴趣的事件发生，一般会有如下三种检测方式。应用程序遍历socket检测如图所示，当多个客户端向服务器请求时，服务器端会保存一个socket连接列表，应用层线程对socket列表进行轮询尝

2016-09-18 12:10:05 7173 5

原创如何使用分布是缓存Hazelcast

使用Hazelcast1.在pom.xml中配置对Hazelcast的依赖<dependencies> <dependency> <groupId>com.hazelcast</groupId> <artifactId>hazelcast</artifactId> <version>3.5.2</version> </dependenc

2016-09-13 20:15:05 7489

原创分布式缓存组件Hazelcast

Hazelcast是一个Java的开源分布式内存实现，它具有以下特性：提供java.util.{Queue, Set, List, Map}的分布式实现提供java.util.concurrent.ExecutorService的分布式实现提供java.util.concurrency.locks.Lock的分布式实现提供用于发布/订阅的分布式Topic（主题）通过JCA与J2EE容器集成

2016-09-12 10:05:28 5762 1

原创 storm如何部署拓扑

storm集群搭建比较简单，参考官方文档即可http://storm.apache.org/releases/1.0.2/Setting-up-a-Storm-cluster.html启动Nimbus./bin/storm nimbus &启动Storm UI，方便对集群状态的监控。./bin/storm ui &启动supervisor./bin/storm supervisor &

2016-09-08 08:28:35 5633 2

原创 jvm库对nio的处理

JVM的IO选择查JVM源码时刚好看到JVM库的一段代码： public static SelectorProvider create() { String osname = AccessController.doPrivileged( new GetPropertyAction("os.name")); if ("SunOS".equa

2016-09-07 10:14:28 3146

原创 storm消费kafka实现实时计算

大致架构 * 每个应用实例部署一个日志agent * agent实时将日志发送到kafka * storm实时计算日志 * storm计算结果保存到hbasestorm消费kafka创建实时计算项目并引入storm和kafka相关的依赖<dependency> <groupId>org.apache.storm</groupId> <artifactId>storm-co

2016-09-05 15:53:05 11331 2

原创 maven隐式依赖引起的包冲突

包冲突使用maven管理项目时可能会遇到包冲突的情况比如：log4j-over-slf4j.jar 和 slf4j-log4j12.jar这两个包同时一起运行时就会有问题。这种冲突可能是显式依赖导致，也可能是隐式依赖导致。显式依赖，直接可以从pom.xml文件的<dependency>中看到两个冲突包的引用。隐式依赖，在pom.xml的<dependency>无法看到冲突的包，而是由<de

2016-09-01 21:01:17 2438