storm
攻城的蒂巴格
这个作者很懒,什么都没留下…
展开
-
storm从入门到精通 第五节 Trident
Trident 是 Storm 的一种高度抽象的实时计算模型,它可以将高吞吐量(每秒百万级)数据输入、有状态的流式处理与低延时的分布式查询无缝结合起来。如果你了解 Pig 或者 Cascading 这样的高级批处理工具,你就会发现他们和 Trident 的概念非常相似。Trident 同样有联结(join)、聚合(aggregation)、分组(grouping)、函数(function)以及过滤翻译 2016-10-25 12:03:28 · 567 阅读 · 0 评论 -
storm从入门到精通 第二节 基础知识讲解
主要内容 Topologies Streams Spouts Bolts Stream groupings Reliability Tasks Workers Configuration storm集群架构 Nimbus和Supervisor的关系就是传统的主从关系,它们单独都可以做成集群原创 2016-10-17 19:27:04 · 862 阅读 · 0 评论 -
storm从入门到精通 第七节 wordcount
4.0.0 com.storm storm-example 0.0.1-SNAPSHOT storm-example UFT-8 org.apache.storm storm-core 1.0.2 maven-assembly-plugin原创 2016-10-27 14:26:58 · 1037 阅读 · 0 评论 -
storm从入门到精通 第三节 storm消息机制
主要内容 storm有一个很重要的消息机制---确保spout发出的每个消息都会被完整的处理,本节将阐述storm是如何保证消息完整性和可靠性。 看官网怎么说:Storm offers several different levels of guaranteed message processing, includeing best effort, at least once,原创 2016-10-17 19:56:18 · 1760 阅读 · 0 评论 -
storm trident api
一、概述 Storm Trident中的核心数据模型就是“Stream”,也就是说,Storm Trident处理的是Stream,但是实际上Stream是被成批处理的,Stream被切分成一个个的Batch分布到集群中,所有应用在Stream上的函数最终会应用到每个节点的Batch中,实现并行计算,具体如下图所示: 在Trident中有五种操作类型:原创 2016-10-28 10:03:29 · 839 阅读 · 0 评论