走在前往架构师的路上

专注于分布式计算,大数据,数据挖掘,机器学习算法等领域的研究

Storm自定义调度器实现--DirectScheduler

前言最近在研究Storm的任务调度相关的知识,于是就想要试着去改造一下Storm的任务调度,来满足一下现实状况中的一些场景。Storm调度的相关术语在看Storm的Scheduler代码么之前,得要弄明白几个概念,这样可以帮助大家更好的理解后面的调度过程。 1、slot。这代表一个Supervi...

2015-07-10 20:52:25

阅读数:3252

评论数:0

Storm系统架构以及代码结构学习

前言 什么是storm,storm是做什么的,一个简单的描述,你可以理解为是一个“准实时”的Hadoop,Hadoop是专门做的是离线数据处理,而storm则弥补了Hadoop在这方面的不足,他是一个实时数据处理的平台。至于Storm的各种由来,就不一一在这里废话了,之前我写的某篇文章讲述了部分的...

2015-05-24 21:13:53

阅读数:3501

评论数:1

Storm源码目录结构分析

前言 由于公司业务的需要,我从比较熟悉的Hadoop平台的学习转到了实时计算框架Storm上面,还好其中的很多东西都是类似的,比如JobTracker对应于Storm中的Nimbus等等.相比于Hadoop的这种离线批处理的作业方式,Storm则是跟他完全相反的实时处理计算,数据源源不断的产生,...

2015-03-17 18:44:30

阅读数:2486

评论数:0

Storm高级属性

之前写了2篇文章讲述了Storm的基本知识。最近也学习了Storm的高级属性了,单纯粹还是属于了解的状态。我就简单介绍几个比较简单的属性。         1.DRPC。简称分布式RPC,模型图: 用户直接面对的是DRPC Server,避开了所有的拓扑逻辑,Storm提供了一个名为L...

2014-10-24 21:39:16

阅读数:1931

评论数:0

Storm的基本知识

上篇文章本人简单的介绍了Storm的起源,今天本人又继续学习了Storm的基本的一些知识,基本了解了他的基本用法,还好,不算太难,如果大家了解了Hadoop的MapReduce模型的话,看这个也是非常类似的。在了解Storm的原型时,首先了解一些概念。 1.Tuple(元组),作为消息传递的基本...

2014-10-22 09:01:20

阅读数:1687

评论数:0

Storm的起源概况

现在是BigData大数据的时代,最近几年最火的是当然属于Hadoop平台了,但是Hadoop虽然说比较好用,但是他的延时性,比较差的实时计算能力被人们所诟病。所以一个比较强大的分布式实时计算平台应用而生,他的名字叫Storm。           要说Storm的起源,得先说说一个很有名的社交...

2014-10-20 20:52:13

阅读数:2035

评论数:0

提示
确定要删除当前文章?
取消 删除