storm
cuilanbo
自己在海量领域混迹有两年了,主要从事与hadoop和hbase相关的工作。没事也会研究研究代码,希望和大家一起分享。如果有问题的话可以加我qq:158646832 , 一起讨论
展开
-
Twitter Storm 实时数据处理框架分析总结
Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架(原来是由BackType开发,后BackType被Twitter收购,将Storm作为Twitter的实时数据分析)。实时数据处理的应用场景很广泛,如上篇文章介绍S4时所说的个性化搜索广告的会话特征分析。而Yahoo当初创建S4项目的直接业务需求就是为了在搜索引擎的‘cost-per-click’广告中,能根据当前情景上下文转载 2012-12-18 13:05:49 · 948 阅读 · 0 评论 -
storm ui显示supervisor个数与实际不符的解决
蛮奇怪的问题,具体现象就是启动了多个supervisor,单在ui上只显示一个(也有可能是多个supervisor中的某几个看上去被“合并”了),当我kill掉其中一个时,另一个就出现了。 重启集群也没有用,想到可能是zookeeper中有冲突,删除了/storm中的所有,一启动,发现还是这样。检查了配置,也没有不对的地方。接着检查日志,发现两个supervisor用的转载 2015-02-28 12:04:15 · 3794 阅读 · 2 评论 -
storm-hdfs RotationActions 接口用法
storm-hdfs 这个插件支持 Rotation Actions 这个功能,官方文档解释是这样的, ### File Rotation Actions Both the HDFS bolt and Trident State implementation allow you to register any number of `RotationAction`s. What原创 2015-02-14 10:51:20 · 3302 阅读 · 0 评论