Storm
文章平均质量分 75
Android路上的人
开源社区爱好者, Apache Hadoop PMC & Apache Ozone PMC, 专注于分布式存储领域, 大数据方面的研究
展开
-
Storm的基本知识
上篇文章本人简单的介绍了Storm的起源,今天本人又继续学习了Storm的基本的一些知识,基本了解了他的基本用法,还好,不算太难,如果大家了解了Hadoop的MapReduce模型的话,看这个也是非常类似的。在了解Storm的原型时,首先了解一些概念。1.Tuple(元组),作为消息传递的基本单元,元组中的字段可以是任何类型的对象。元组会用于后面提到的Bolt方法的execute方法。2.原创 2014-10-22 09:01:20 · 2236 阅读 · 0 评论 -
Storm高级属性
之前写了2篇文章讲述了Storm的基本知识。最近也学习了Storm的高级属性了,单纯粹还是属于了解的状态。我就简单介绍几个比较简单的属性。 1.DRPC。简称分布式RPC,模型图:用户直接面对的是DRPC Server,避开了所有的拓扑逻辑,Storm提供了一个名为LinearDRPCTopologyBuilder的线性拓扑构建器,他把DRPC所做的几乎所有步骤都自动原创 2014-10-24 21:39:16 · 2399 阅读 · 0 评论 -
Storm的起源概况
现在是BigData大数据的时代,最近几年最火的是当然属于Hadoop平台了,但是Hadoop虽然说比较好用,但是他的延时性,比较差的实时计算能力被人们所诟病。所以一个比较强大的分布式实时计算平台应用而生,他的名字叫Storm。 要说Storm的起源,得先说说一个很有名的社交网站--TWitter。因为Storm是Twitter公司在2011年正式开源出去的,也就是说,在20原创 2014-10-20 20:52:13 · 3716 阅读 · 0 评论 -
Storm源码目录结构分析
前言由于公司业务的需要,我从比较熟悉的Hadoop平台的学习转到了实时计算框架Storm上面,还好其中的很多东西都是类似的,比如JobTracker对应于Storm中的Nimbus等等.相比于Hadoop的这种离线批处理的作业方式,Storm则是跟他完全相反的实时处理计算,数据源源不断的产生,结果同样在不断的产生.目录结构分析因为Storm主要由2部分的语言构成,1个是JAVA,还有1原创 2015-03-17 18:44:30 · 3705 阅读 · 0 评论 -
Storm系统架构以及代码结构学习
前言什么是storm,storm是做什么的,一个简单的描述,你可以理解为是一个“准实时”的Hadoop,Hadoop是专门做的是离线数据处理,而storm则弥补了Hadoop在这方面的不足,他是一个实时数据处理的平台。至于Storm的各种由来,就不一一在这里废话了,之前我写的某篇文章讲述了部分的Storm的代码结构,详情点击这里。Storm的总体架构先来了解一下Storm的整体结构,S原创 2015-05-24 21:13:53 · 4691 阅读 · 0 评论 -
Storm自定义调度器实现--DirectScheduler
前言最近在研究Storm的任务调度相关的知识,于是就想要试着去改造一下Storm的任务调度,来满足一下现实状况中的一些场景。Storm调度的相关术语在看Storm的Scheduler代码么之前,得要弄明白几个概念,这样可以帮助大家更好的理解后面的调度过程。 1、slot。这代表一个Supervisor节点上的一个单位资源。每个slot对应一个port,一个slot只能被一个Worker占用。 2原创 2015-07-10 20:52:25 · 5132 阅读 · 0 评论