storm
guicaizhou
这个作者很懒,什么都没留下…
展开
-
Storm入门(一)原理介绍
问题导读:1.hadoop有master与slave,Storm与之对应的节点是什么?2.Storm控制节点上面运行一个后台程序被称之为什么?3.Supervisor的作用是什么?4.Topology与Worker之间的关系是什么?5.Nimbus和Supervisor之间的所有协调工作有master来完成,还是Zookeeper集群完成?6.storm稳定的原因是什么?转载 2018-02-06 19:20:36 · 383 阅读 · 0 评论 -
IRichBolt和IBasicBolt/BaseBasicBolt对比
storm消息的可靠处理 IRichBolt和IBasicBolt/BaseBasicBolt对比 使用IBasicBolt/BaseBasicBolt不需要总是调用collect.ack,storm会帮我们处理。对于spout,有ISpout,IRichSpout,BaseRichSpout对于bolt,有IBolt,IRichBolt,BaseRichBolt,IBasicBolt,BaseB...转载 2018-05-31 15:56:23 · 825 阅读 · 0 评论 -
storm定时任务使用实例
1.背景需要在bolt中定时执行某些操作2.方法都是利用系统自带的定时tuple来完成,相当于系统自动发一个带有特殊标记的tuple,然后自己在bolt中判断,若为此特殊tuple,执行定时函数。(1)如果所有bolt都需要定时,可在topology入口处通过config设置(2)如果只有某一类bolt需要定时,可在该bolt内部override getComponetConfiguration方...转载 2018-06-12 16:39:23 · 887 阅读 · 0 评论 -
storm每隔一段时间发送tuple
TickTuple可以满足每隔一段时间发送tuple,"__system" component会定时往task发送 "__tick" stream的tuple,发送频率由TOPOLOGY_TICK_TUPLE_FREQ_SECS来配置, 可以在default.ymal里面配置,也可以在代码里面通过getComponentConfiguration()来进行配置。代码里面配置如下public Map...转载 2018-05-17 23:59:04 · 399 阅读 · 0 评论 -
Storm入门(十四)Trident API Overview
The core data model in Trident is the "Stream", processed as a series of batches. A stream is partitioned among the nodes in the cluster, and operations applied to a stream are applied in parallel acr转载 2018-02-07 10:24:26 · 273 阅读 · 0 评论 -
Storm入门(十三)Storm Trident 教程
转自:http://blog.csdn.net/derekjiang/article/details/9126185英文原址:https://github.com/nathanmarz/storm/wiki/Trident-tutorial----------------Trident是在storm基础上,一个以realtime 计算为目标的高度抽象。 它在提供处理大吞吐量转载 2018-02-07 10:23:35 · 283 阅读 · 0 评论 -
Storm入门(十二)Twitter Storm: DRPC简介
作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://xumingming.sinaapp.com/756/twitter-storm-drpc/本文翻译自: https://github.com/nathanmarz/storm/wiki/Distributed-RPC 。Storm里面引入DRPC主要是利用stor转载 2018-02-07 10:08:39 · 534 阅读 · 0 评论 -
Storm入门(十一)Twitter Storm源代码分析之CoordinatedBolt
作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://xumingming.sinaapp.com/811/twitter-storm-code-analysis-coordinated-bolt/关于Twitter Storm的新特性: Transactional Topology 被问到的最多的问题是: Storm转载 2018-02-07 10:07:11 · 212 阅读 · 0 评论 -
Storm入门(十)Twitter Storm: Transactional Topolgoy简介
作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://xumingming.sinaapp.com/736/twitter-storm-transactional-topolgoy/本文翻译自: https://github.com/nathanmarz/storm/wiki/Transactional-topolog转载 2018-02-06 19:31:49 · 248 阅读 · 0 评论 -
Storm入门(九)Storm常见模式之流聚合
流聚合(stream join)是指将具有共同元组(tuple)字段的数据流(两个或者多个)聚合形成一个新的数据流的过程。从定义上看,流聚合和SQL中表的聚合(table join)很像,但是二者有明显的区别:table join的输入是有限的,并且join的语义是非常明确的;而流聚合的语义是不明确的并且输入流是无限的。数据流的聚合类型跟具体的应用有关。一些应用把两个流发出的所有的转载 2018-02-06 19:30:05 · 474 阅读 · 0 评论 -
Storm入门(八)Storm实战常见问题总结(持续更新)
一、本地环境log级别设置问题storm-core-1.1.0.jar下面有个log4j2.xml文件,默认log级别是info。configuration monitorInterval="60"> Appenders> Console name="Console" target="SYSTEM_OUT"> PatternLayout pattern="转载 2018-02-06 19:28:45 · 274 阅读 · 0 评论 -
Storm入门(七)可靠性机制代码示例
一、关联代码使用maven,代码如下。pom.xml 参考 http://www.cnblogs.com/hd3013779515/p/6970551.htmlMessageTopology.javapackage cn.ljh.storm.reliability;import org.apache.storm.Config;import org.apa转载 2018-02-06 19:27:22 · 272 阅读 · 0 评论 -
Storm入门(六)深入理解可靠性机制
转自http://blog.csdn.net/zhangzhebjut/article/details/38467145一 可靠性简介 Storm的可靠性是指Storm会告知用户每一个消息单元是否在一个指定的时间(timeout)内被完全处理。完全处理的意思是该MessageId绑定的源Tuple以及由该源Tuple衍生的所有Tuple都经过了Topology中每一个应转载 2018-02-06 19:26:17 · 691 阅读 · 0 评论 -
Storm入门(五)Twitter Storm如何保证消息不丢失
转自:http://xumingming.sinaapp.com/127/twitter-storm如何保证消息不丢失/storm保证从spout发出的每个tuple都会被完全处理。这篇文章介绍storm是怎么做到这个保证的,以及我们使用者怎么做才能充分利用storm的可靠性特点。一个tuple被”完全处理”是什么意思?就如同蝴蝶效应一样,从spout发射的一个tuple可转载 2018-02-06 19:25:33 · 277 阅读 · 0 评论 -
Storm入门(四)WordCount示例
一、关联代码使用maven,代码如下。pom.xml 和Storm入门(三)HelloWorld示例相同RandomSentenceSpout.java/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreemen转载 2018-02-06 19:24:25 · 364 阅读 · 0 评论 -
Storm入门(三)HelloWorld示例
一、配置开发环境storm有两种操作模式: 本地模式和远程模式。使用本地模式的时候,你可以在你的本地机器上开发测试你的topology, 一切都在你的本地机器上模拟出来; 用远程模式的时候你提交的topology会在一个集群的机器上执行。建议使用maven,只需要加上storm的依赖就可以了。dependency> groupId>org.apache.stor转载 2018-02-06 19:23:27 · 232 阅读 · 0 评论 -
Storm入门(二)集群环境安装
1.集群规划storm版本的变更:storm0.9.x storm0.10.x storm1.x上面这些版本里面storm的核心源码是由Java+clojule组成的。storm2.x后期这个版本就是全部用java重写了。(阿里在很早的时候就对storm进行了重写,提供了jstorm,后期jstorm也加入到apache storm,负责使用java对storm进转载 2018-02-06 19:21:58 · 236 阅读 · 0 评论 -
流计算框架Flink与Storm的性能对比
1. 背景Apache Flink 和 Apache Storm 是当前业界广泛使用的两个分布式实时计算框架。其中 Apache Storm(以下简称“Storm”)在美团点评实时计算业务中已有较为成熟的运用(可参考 Storm 的可靠性保证测试),有管理平台、常用 API 和相应的文档,大量实时作业基于 Storm 构建。而 Apache Flink(以下简称“Flink”)在近期倍受关注,具有...转载 2018-05-31 17:37:23 · 3341 阅读 · 0 评论