2014年06月_array020

12月 10月 09月 07月 06月 05月 02月

ZooKeeper学习之配置【7】ensemble配置

quorum这个概念深深嵌入了ZooKeeper的设计中，尤其是当处理请求和在replicate模式中进行选举leader时尤为相关。如果ZooKeeper的各个server的quorum起来(up)时，ensemble才能继续(make progress)。Majority Rules当一个ensemble有足够的Zookeeper server时，便能够开始处理请求，可以把这些se...

2014-06-30 15:44:03 214

除了leader和follow模式之外，还有第三种模式：observer模式。observer和follower在一些方面是一样的。详细点来讲，他们都向leader提交proposal。但与follower不同，observer不参与投票的过程。它简单的通过接收leader发过来的INFORM消息来learn已经commit的proposal。因为leader都会给follower和obser...

2014-06-30 10:20:09 1496

ZooKeeper学习之配置【6】日志配置

ZooKeeper使用SLF4J(the Simple Logging Facade for Java)作为日志的抽象层，默认使用Log4J来做实际的日志工作。使用2层日志抽象看起来真是够呛，这里简要的说明如何来配置Log4J。尽管Log4J非常灵活且强大，但它也有一些复杂，可以用一整本书来描述它，这里只是简要的介绍一下基本的用法。 Log4J的配置文件名为log4j.properti...

2014-06-29 14:13:04 275

ZooKeeper学习之配置【5】不安全的选项

下面这些选项也许会有用，但使用的时候一定要小心，他们只适用于一些特殊的场景，其中的大多数选项一般是不需要进行配置的。 forceSync决定了写进去的数据是否应该sync到磁盘(zookeeper.forceSync)，yes或者no。默认值为yes，在数据被sync到磁盘之前，事务对应的ack不会被发送回leader。sync系统调用很昂贵，且是事务处理中耗时最大的步骤。如...

2014-06-29 13:28:37 484

ZooKeeper学习之配置【4】集群配置

当配置一个集群时，我们需要为每一个server配置好时间相关的参数，并指定一个server列表，这样server之间就能彼此连接并检测失败。这些配置必须在所有server中保持一致。 initLimit此值的作用是一个follower初始化连接到leader的超时时间，单位是tickTime。当一个follower对leader发起一个初始化连接时，可能会有很多数据要传输，特别...

2014-06-29 12:27:59 128

ZooKeeper学习之配置【3】网络配置

下面这些配置对client与server之间的连接和超时时间进行了限制。 globalOutstandingLimit这个配置指定了等待处理的最大请求数量的限制(zookeeper.globalOutstandingLimit)。client发送请求的速度可能会比server端处理的速度快，会导致请求在server端排队，最终(在若干秒内)会使server的内存耗尽。为了避免这...

2014-06-29 02:24:08 214

ZooKeeper学习之配置【2】存储配置

本文涵盖了更多的高级配置，包括了standalone模式和ensemble模式。不设置它们也能让ZooKeeper工作得很好，但是其中的一些应该需要好好配置一些(比如dataLogDir)。 preAllocSize为每个事务日志文件预分配(preallocate)的大小，单位为kilobyte。(zookeeper.preAllocSize)当开始写事务日志时，server每...

2014-06-29 00:52:03 204

ZooKeeper学习之配置【1】基本配置

ZooKeeper的设计对开发人员来说很友好，但同时也对运维人员友好。当集群越来越大时，管理操作也便得复杂起来，稳妥的管理也变得重要起来。ZooKeeper应该是一个标准的分布式系统组件，一个运维团队可以轻松的学习并管理它。虽说ZooKeeper很容易跑起来，但对于一些配置选项必须牢记在心。你应该很熟悉你的ZooKeeper服务，并使用一些管理工具方便的管理它。为了让一个...

2014-06-28 23:07:55 132

ZooKeeper学习之文件系统的布局和格式

本文来谈谈快照文件，事务日志文件在文件系统中是如何存放的。写事务日志是事务处理的关键步骤，所以高度建议在一个独立的磁盘上存储。快照不需要在独立的磁盘存储，因为它们是由一个后台线程以懒汉式的(lazily)方式产生的。存储快照的路径是由DataDir参数指定的，事务日志的路径则是由DataLogDir参数指定的。首先来看看事务日志的目录。如果你查看目录的内容，你会看到一个名为ver...

2014-06-27 15:47:05 224

ZooKeeper学习之本地存储(事务日志与快照)

在上一篇的server代码骨架中已提到，当处理proposal时，是由SyncRequestProcessor来处理的，下面就来对这其中的操作做更详细的分析。日志和磁盘使用情况server是使用事务日志来持久化事务的。在accept一个proposal请求之前，server(follower或者leader)把这个proposal以事务的形式持久化到事务日志，按照顺序进行append。...

2014-06-27 14:34:40 464

ZooKeeper学习之server端实现的基本骨架

在ZK的源码中，leader，follower和observers的代码结构是高度统一的。在实现中主要的抽象就是request processor了。在处理消息的流水线(pipeline)中有很多不同的阶段，一个request processor代表其中的一个阶段，每一种server类型(无论leader，follower还是observer)实现了某一个特定的request processo...

2014-06-27 11:13:51 150

ZooKeeper学习之运维工具zkweb

这是淘宝上的开源项目，地址：http://code.taobao.org/p/zkweb/wiki/index/ 这是一个Java写的web应用程序，可以通过浏览器查看，管理ZooKeep上的数据，可以方便管理。此外还有一些其他的类似程序，先不去看了，这个暂时能满足需求了。简单起见以我整理的程序为准开始部署，请下载附件中的程序。 1，导入程序这是一个Maven项目，...

2014-06-26 15:48:38 324

ZooKeeper学习之运维工具zktop

如果你喜欢命令行式交互型的监控，不妨使用这个小工具。 github地址：https://github.com/phunt/zktop SummaryThis project provides a unix “top” like utility for ZooKeeper.提供类似top的命令 ExampleRunning:./zktop.py --ser...

2014-06-26 11:27:24 335

ZooKeeper学习之关于Client和序列化

关于client 在client library中有2个主要的类：ZooKeeper和ClientCnxn。ZooKeeper类实现了大部分API，写client应用程序时必须实例化这个对象来建立一个session。一旦建立起一个session，ZooKeeper使用一个ID来关连这个session。这个ID实际上是由server side生成的（参考SessionTrackerImp...

2014-06-26 10:49:31 156

ZooKeeper学习之关于Servers和Sessions

Session是Zookeeper的一个重要的抽象。有序的保证，ephemeral znode，watch都与session紧紧关联。session的跟踪机制也是很重要的一块。 ZooKeeper server的一个重要任务就是跟踪并维护这些session。运行于standalone模式下的单独的server会维护所有的session，而在quorum模式下由leader来维护。l...

2014-06-26 10:15:18 176

ZooKeeper学习之关于Servers和Watches

watch是由read operation设置的一次性触发器，由一个特定operation来触发。为了在server端管理watch，ZK的server端实现了watch manager。一个WatchManager类的实例负责管理当前已被注册的watch列表，并负责触发它们。所有类型的server（包括standalone，leader，follower和observer）使用同样的方式处理...

2014-06-25 17:05:41 106

理解Storm中的拓扑的并发度

原创翻译，如有错误，请指正。原文。一个运行中的拓扑是由什么组成的：worker进程，executors和tasks。Storm是按照下面3种主要的部分来区分Storm集群中一个实际运行的拓扑的：Worker进程Executors (线程)Tasks下图简单的展示了它们的关系：上图中的3段话依次如下：Storm集群中的其中1台机器可能运行着属于...

2014-06-06 15:25:53 211

Storm官方文档about页面翻译

原创翻译，如有错误请指出，谢谢。原文链接：http://storm.incubator.apache.org/about/integrates.html 集成Storm可以集成任何队列系统和数据库系统。Storm的spout的抽象使得集成一个新的队列系统变得简单。示例的队列集成包括：KestrelRabbitMQ / AMQPKafkaJMSAmazon...

2014-06-06 09:41:49 100