gwt0425的博客

Map阶段问题定义–SELECT子句源代码public class SelectClauseMRJob extends Configured implements Tool { public static class SelectClauseMapper extends MapperLongWritable,Text,NullWritable,Te

这个是最主要的包，内容很多，可能会分好几次来写admin包JettyAdminServer和DummyAdminServer是AdminServer接口的实现类。其中DummyAdmin是空的实现，主要还是看JettyAdminServer的实现。AdminServerFactory是一个工厂方法，一般就是直接返回JettyAdminServer，也不用看了。其中要把ZooKeeperServer加

jmx包从ComonNames文件中知道，org.apache.ZooKeeperService很重要//CommonNames.javapublic class CommonNames { public static final String DOMAIN="org.apache.ZooKeeperService"; public static final String DATA

刚从github下载了源码，发现里面依赖的data, proto包没有类。然后从maven上下载jar包，将里面的data, proto包反编译为java源文件。正好这两个包里面的类不多，先来研究一下data包ACL用于管理权限, 格式为scheme:id:permissionpublic class ACL implements Record { private int perms;

CuratorFramework的CRUD开始的操作create(): 开始创建，之间一大堆方法，最后是forPath()delete()checkExist()getData():kotlin简化了，getData是datasetData()getChildren() val client = createSimple() client.start() client.crea

创建ZooKeeper客户端其中CanBeReadOnly的含义蛮有意思：在ZooKeeper集群中，如果一个机器出故障了，与半数以上机器失去联系，按理说是不能提供服务了。在特殊情况下（几乎不写的情况），还是希望它提供读服务。object MyWatcher : Watcher{ override fun process(event: WatchedEvent?) { when

脚本模式多进程并发创建主节点//成功创建create -e /master "i am master"Created /master//失败创建create -e /master "i am master"Node already exists: /master没有获取到主节点的进程设置监控//设置监控stat /master truecZxid = 0x10000003fctime =

很简单，在任意目录下如下创建|--z1/| |--data/| |--zoo.cfg||--z2/| |--data/| |--zoo.cfg||--z3/| |--data/| |--zoo.cfg|zoo.cfg如下三个zoo.cfg只有clientPort不同，分别为2181，2182，2183tickTime=2000initLimit=5s

理解主从架构中的分布式难题主节点失效主节点失效时，我们需要一个备用主节点，它会接管主节点的角色，进行故障转移。他需要能够恢复到旧的主节点崩溃时的状态，而这个状态是通过ZooKeeper来获取的。此外还有脑裂（WTF?）的情况：主节点只是响应慢了点，并没有失效，但备用主节点认为失效了也启动类。于是系统中存在两个独立的主节点，各自工作，造成整体行为的不一致。从节点失效客户端向主节点提交任务，主节点将任务

Paxos 几大要点1.一个Acceptor必须接受它收到的第一个提案。2.一个提案被选定需要被半数以上的Acceptor接受3.一个Acceptor必须能够接受不止一个提案！4.『提案=提案编号+value』5.如果某个value为v的提案被选定了，那么每个编号更高的被选定提案的value必须也是v。6.如果某个value为v的提案被选定了，那么每个编号更高的被Acceptor接受的提案

quorum.flexible包QuarumHierarchical是3.5.3新增的根据层次来解析Zookeeper Server的类，而QuorumMaj是以前就有的类。就是用来解析server.1这种配置文件的。他们的接口是QuorumVerifier类public interface QuorumVerifier { long getWeight(long id); bool

RDDHeartBeat 通信存储体系MemoryStore 内存模型doPut()数据写入流程Block备份复制的过程任务执行计算引擎部署模式资源调度任务执行过程Standalone模式的整套流程容错机制部署模式Y...