不穿马甲bo-CSDN博客

原创 twitter storm源码走读之6 -- Trident Topology执行过程分析

欢迎转载，转载请注明出处，徽沪一郎。TridentTopology是storm提供的高层使用接口，常见的一些SQL中的操作在tridenttopology提供的api中都有类似的影射。关于TridentTopology的使用及运行原理，当前进行详细分析的文章不多。从TridentTopology到vanilla topology(普通的topology)由三个层次组成：面向最终用...

2014-05-16 17:30:13 126

原创 twitter storm源码走读之7 -- trident topology可靠性分析

欢迎转载，转载请注明出处，徽沪一郎。本文详细分析TridentTopology的可靠性实现, TridentTopology通过transactional spout与transactional state相结合，能够做到tuple“只被处理一次，不多也不少”。也就是做到事务性处理exactly-once,要么成功，要么失败。而一般的storm topology是无法保证eactly-...

2014-05-16 17:29:55 133

原创 twitter storm源码走读之8 -- TridentTopology创建过程详解

欢迎转载，转载请注明出处，徽沪一郎。从用户层面来看TridentTopology，有两个重要的概念一是Stream,另一个是作用于Stream上的各种Operation。在实现层面来看，无论是stream，还是后续的operation都会转变成为各个Node，这些Node之间的关系通过重要的数据结构图来维护。具体到TridentTopology，实现图的各种操作的组件是jgrapht。...

2014-05-16 17:29:42 145

原创 twitter storm 源码走读之5 -- worker进程内部消息传递处理和数据结构分析

欢迎转载，转载请注明出处，徽沪一郎。本文从外部消息在worker进程内部的转化，传递及处理过程入手，一步步分析在worker-data中的数据项存在的原因和意义。试图从代码实现的角度来回答，如果是从头开始实现worker的话，该如何来定义消息接口，如何实现各自接口上的消息处理。Topology到Worker的映射关系Topology由Spout,Bolt组成，其逻辑关系大体如下图所示...

2014-05-13 13:47:47 147

原创 twitter storm源码走读之4 -- worker进程中线程的分类及用途

欢迎转载，转载请注明出版，徽沪一郎。本文重点分析storm的worker进程在正常启动之后有哪些类型的线程，针对每种类型的线程，剖析其用途及消息的接收与发送流程。概述worker进程启动过程中最重要的两个函数是mk-worker和worker-data，代码就不一一列出了。worker顺利启动之后会拥有如下图所示的各类线程。接收和发送线程worker在启动的时候会生...

2014-05-13 13:46:54 156

原创 twitter storm源码走读之3--topology提交过程分析

概要storm cluster可以想像成为一个工厂，nimbus主要负责从外部接收订单和任务分配。除了从外部接单，nimbus还要将这些外部订单转换成为内部工作分配，这个时候nimbus充当了调度室的角色。supervisor作为中层干部，职责就是生产车间的主任，他的日常工作就是时刻等待着调度到给他下达新的工作。作为车间主任，supervisor领到的活是不用自己亲力亲为去作的，他手下有着...

2014-05-13 13:46:18 174

原创 twitter storm源码走读之2 -- tuple消息发送场景分析

欢迎转载，转载请注明出处源自徽沪一郎。本文尝试分析tuple发送时的具体细节，本博的另一篇文章《bolt消息传递路径之源码解读》主要从消息接收方面来阐述问题，两篇文章互为补充。worker进程内消息接收与处理全景图先上幅图简要勾勒出worker进程接收到tuple消息之后的处理全过程IConnection的建立与使用话说在mk-threads :bolt函数的实现中有这么一...

2014-05-13 12:32:36 118

原创 twitter storm源码走读之1 -- nimbus启动场景分析

欢迎转载，转载时请注明作者徽沪一郎及出处，谢谢。本文详细介绍了twitter storm中的nimbus节点的启动场景，分析nimbus是如何一步步实现定义于storm.thrift中的service，以及如何利用curator来和zookeeper server建立通讯。对于storm client来说，nimbus是storm cluster与外部的唯一接口，是总的接口人，在这个接口...

2014-05-13 12:16:59 129

原创 jquery1.9删除的browser,live,die,sub,toggle的替换方法

jQuery 1.9变化有几点，最重要的是标题所提到的browser,live,die,sub,toggle这几个，如果你在使用过程中遇到高级版本不行，而低版本却可以的时候，那你就要了解一下是不是版本升级带来的影响了。之前也转载过一篇“jQuery1.9升级和删除的API指南”的文章，文里面介绍了很多方面，其实很多我都没用过，这上面的几个，我也是熟悉过browser，live，t...

2014-03-04 15:27:29 239

原创  ()

除IE外都可识别 <!--[if IE 5]&amp

2014-03-04 15:19:19 132

原创 LDAP

LDAP是轻量目录访问协议，英文全称是Lightweight Directory Access Protocol，一般都简称为LDAP。它是基于X.500标准的，但是简单多了并且可以根据需要定制。与X.500不同，LDAP支持TCP/IP，这对访问Internet是必须的。LDAP的核心规范在RFC中都有定义，所有与LDAP相关的RFC都可以在LDAPman RFC网页中找到。...

2014-03-04 08:56:30 110

转载如何在Openstack的控制节点使用命令手动创建一个虚拟机

虽然可以通过Dashbord创建新的虚拟机，可是通过命令来创建虚拟机也是一种很好的方法。1.激活环境变量。如果本来就激活了就没有必要进行这一步了。新建文件novarc[html] view plaincopyexport OS_TENANT_NAME=admin export OS_USERNAME=admin

2013-11-12 13:12:34 1161

转载 openstack keystone role API详解

以下为keystone 角色相关的API详解：############################################ version: v1.0.0# author : Qinglong Meng# date : 2013-3-4###########################################1. role-lis

2013-11-12 13:09:30 595

转载 Openstack整合esxi 测试总结

1．测试环境软件信息:类型版本信息备注OSUbuntu 12.04.1 LTS precise Openstackstable/essex Esxi5.0 Update 2

2013-11-12 13:08:12 1032

jBPM-jPDL学习笔记—框架设计简介(四)

jBPM-jPDL学习笔记—框架设计简介(四)关键字: jbpm jpdl xml元素上接 jBPM-jPDL学习笔记—框架设计简介(三)<common node elements>(通用结点元素)名称类型多样性描述name属性必须结点名称async属性{ true | false }, false i...

2008-04-28 16:06:00 85

jBPM-jPDL学习笔记—框架设计简介(三)

jBPM-jPDL学习笔记—框架设计简介(三)关键字: jbpm jpdl 元素定义上接 jBPM-jPDL学习笔记—框架设计简介(二) 编号PD-006对象任务（Task）描述任务作为流程定义中的一部分，定义了如何创建任务实例（Task instances）以及任务分配。任务可以在任务结点（Task-Node）和流程定义（process-d...

2008-04-28 16:04:00 83

jBPM-jPDL学习笔记—框架设计简介(二)

jBPM-jPDL学习笔记—框架设计简介(二)关键字: jbpm jpdl 工作流 ...上接 jBPM-jPDL学习笔记—框架设计简介(一) jPDL业务流程模型理解现实生活中的业务流程下面我们通过一个简单的部门借款流程来了解现实中的业务流程概念，流程图如下：上图表达了一个抽象的流程定义（Process Definition）。之所以称之为抽象，是...

2008-04-28 15:52:00 112

jBPM-jPDL学习笔记—框架设计简介(一)

jBPM-jPDL学习笔记—框架设计简介(一)关键字: jbpm jpdl 框架设计工作流相关资料：《jBPM学习笔记(V3.2环境部署)》《jBPM学习笔记(流程设计与控制)》概述:jBPM（JBoss Business Process Management业务流程管理），它是覆盖了业务流程管理、工作流、服务协作等领域的一个开源的、灵活的、易扩展的可执...

2008-04-28 15:48:00 80

Spring创始人Rod Johnson再次发飙——“传统Java应用服务器正在没落”

Spring创始人Rod Johnson再次发飙——“传统Java应用服务器正在没落”关键字: rod johnson, 传统应用服务器, 没落最新来自java.done.com的第一消息。曾经在《J2EE without EJB》中猛烈抨击EJB，说EJB必将成为历史的Rod Johoson，这次又将矛头再次指向JavaEE应用服务器，请看下文：Infoworld站点发表了Th...

2008-04-28 15:45:00 247

JSF+AJAX企业级开发之路——来自Sun的高级工程师Ed Burns的精彩演讲【二】

JSF+AJAX企业级开发之路——来自Sun的高级工程师Ed Burns的精彩演讲【二】关键字: enterprise grade ajax and jsf Ed Burns在本小节中的论述比较精彩，提到了各种AJAX整合JSF的方案以及AJAX的常见问答．因为我一直是用Webwork/Struts2，对JSF接触并不深．为此花了不小时间来“扫盲”．Ed来谈到了JCP也想搞一个AJAX+...

2008-04-28 15:42:00 79

JSF+AJAX企业级开发之路——来自Sun的高级工程师Ed Burns的精彩演讲【一】

JSF+AJAX企业级开发之路——来自Sun的高级工程师Ed Burns的精彩演讲【一】关键字: enterprise grade ajax and jsf 序这是一篇很长很长的技术性演讲，但你无法从中得到一行代码。原文：http://www.theserverside.com/tt/knowledgecenter-is/knowledgecenter-is.tss?l=PodcastEdBurn...

2008-04-28 15:39:00 73

TeaBo.cn