storm
文章平均质量分 83
learn_tech
这个作者很懒,什么都没留下…
展开
-
kafka与storm集成测试问题小结
转载地址:https://blog.csdn.net/shj1119/article/details/48826619 1 拷贝kafka依赖jar包到storm lib [root@hdmaster libs]# cp kafka_2.10-0.8.2.1.jar /opt/apache-storm-0.9.5/lib/ [root@hdmaster libs]# cp scala-libra...转载 2018-09-12 16:04:52 · 332 阅读 · 0 评论 -
利用storm个性化存储hdfs(更改storm-hdfs插件源码)
转载地址:https://blog.csdn.net/weixin_40209426/article/details/81220313 在项目过程中,有这样一个需求,需要用storm消费实时流日志,存储hdfs,如果伙伴们要是抱着自己开发存储的心态去做,可能会耗费一定的开发周期,比较不划算,因为官方做了一个storm-hdfs的开发包供storm使用者轻松开发storm程序存储hdfs,但是这个...转载 2018-09-28 11:46:31 · 191 阅读 · 0 评论 -
关于storm中某一段时间内topN的计算入门
转载地址:https://www.cnblogs.com/zguood/p/4528195.html 刚刚接触storm 对于滑动窗口的topN复杂模型有一些不理解,通过阅读其他的博客发现有两篇关于topN的非滑动窗口的介绍。然后转载过来。 下面是第一种: Storm的另一种常见模式是对流式数据进行所谓“streaming top N”的计算,它的特点是持续的在内存中按照某个统计指标(如出现...转载 2018-09-30 15:24:00 · 398 阅读 · 0 评论 -
Storm的流分组策略
原文地址:https://www.cnblogs.com/cutd/p/6740179.html 首先我要强调的是,Storm的分组策略对结果有着直接的影响,不同的分组的结果一定是不一样的。其次,不同的分组策略对资源的利用也是有着非常大的不同,本文主要讲一讲localOrShuffle这个分组对资源利用的重大改善。最后,不同的分组对项目的逻辑也起着至关重要的决定,比如在写数据的时候不同的分组策略...转载 2018-11-08 14:52:37 · 501 阅读 · 0 评论