Storm
Kevin.Yang
这个作者很懒,什么都没留下…
展开
-
Storm启动的相关命令
在启动storm之前要确保nimbus和supervisor上的Zookeeper已经启动 (1)查看zk的状态:./zkServer.sh status (2)如果zk没有开启,将nimbus和supervisor的zk开启./zkServer.sh start(3)启动nimbus(切换到storm的bin目录下)nohup ./storm nimbus & (4)启动supervisorn原创 2015-07-15 22:14:39 · 12485 阅读 · 0 评论 -
Storm开发过程中的问题与建议
(一) topology层级建议设不要设置过多原创 2015-11-26 21:18:32 · 5325 阅读 · 0 评论 -
TimeCacheMap的解析与使用
在storm的开发中,经常有这样的业务场景,比如统计1分钟或者5分钟粒度的UV,我们可能会这样想设置一个set,其中用用户user_id与logtime组合起来作为key存入set,每次来一条用户消息先到set中查找,如果存在该条消息则丢弃,如果不存在向set add key;同时设置一个内存缓存map以logtime作为key,根据刚刚的set结果决定是否进行UV的+1操作;同时为了防止set过原创 2015-11-29 23:28:10 · 2859 阅读 · 0 评论 -
JStorm Supervisor启动失败
某天线上JStorm集群的莫国泰supervisor物理故障重启之后,进入/home/admin/jstorm/bin执行./start.sh发现supervisor的正常启动,nimbus.log的日志如下[ERROR 2018-01-18 11:51:44 Supervisor:220 run main] Failed to start supervisorjava.lang.Runtim原创 2018-01-18 13:12:36 · 1879 阅读 · 0 评论