![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
storm
文章平均质量分 73
wangqiaoshi
这个作者很懒,什么都没留下…
展开
-
滑动窗口在storm中的实现
from http://blog.csdn.net/yangbutao/article/details/17851853 滑动窗口在监控和统计应用的场景比较广泛,比如每隔一段时间(10s)统计最近30s的请求量或者异常次数,根据请求或者异常次数采取相应措施;这里说一下滑动窗口在storm中实现的原理。参见下图: 窗口大小为30s,每10s就统计一次,那么窗口一转载 2014-03-04 22:27:41 · 630 阅读 · 0 评论 -
storm
storm 有Nimbus,Supervisor,Nimbus有点类似于hadoop的JobTracker,supervisor类似于tasktracker 他们之间交互是通过zookeeper 其实storm设计类似于hadoop,hadoop的job对应的是Topology 通过官网方式,可能会遇到识别不了主机名的错误,通过修改主机名就不报错了 export HOSTNAME=原创 2014-03-08 14:10:24 · 376 阅读 · 0 评论 -
Storm常见模式——求TOP N
from http://www.cnblogs.com/panfeng412/archive/2012/06/16/storm-common-patterns-of-streaming-top-n.html Storm的另一种常见模式是对流式数据进行所谓“streaming top N”的计算,它的特点是持续的在内存中按照某个统计指标(如出现次数)计算TOP N,然后每隔一定时间间隔输出实时计算转载 2014-03-09 15:02:38 · 401 阅读 · 0 评论 -
Storm(报错)Found multiple defaults.yaml resources
运行storm-kafka应用程序的的时候报了这个错 这个想了下,肿么会有多个呢,后面觉得应该是在应用的jar包里面也把storm的defaultsyarm打进去了。 找了下只看到 [html] view plaincopy span style="font-size:14px;"> dependency>原创 2014-03-16 14:57:02 · 657 阅读 · 0 评论 -
storm 进程自动关闭 fail-fast 使用daemontools 进行管理
Linux系统上运行服务(或daemons)的典型方法是使用initscripts,它是壳脚本的优化版,能够开始和停止服务。虽然这种方法对大部分来说都是适用的,但是高效的有效性却正在丢失。如果服务自己停止了,它就会无效了。 另外一种运行服务的方法是使用D.J.Bernstein的Daemontools软件包。它运行一个叫做监督的Daemon,它能够监督它能启动的所有服务。如果一个服务停止了,转载 2014-03-18 20:21:55 · 1032 阅读 · 0 评论 -
storm 一致性事务
from http://blog.linezing.com/?p=1976 第五章 一致性事务 Storm是一个分布式的流处理系统,利用anchor和ack机制保证所有tuple都被成功处理。如果tuple出错,则可以被重传,但是如何保证出错的tuple只被处理一次呢?Storm提供了一套事务性组件Transaction Topology,用来解决这个问题。 Transa转载 2014-03-20 11:18:30 · 304 阅读 · 0 评论