jstorm提交topology后子节点worker is dead

原创 2016年08月31日 16:00:02

当一个topology提交后,在ui上看到以下问题
这里写图片描述

点进去后查看ERROR
这里写图片描述

原因:可能在测试时使用本地提交topology,第三方jar包没有copy到集群的其他机器的jstorm目录下的lib目录里
scp -r ~/deploy/jstorm/lib hadoop@10.12.42.102:~/deploy/jstorm
……

版权声明:本文为博主原创文章,未经博主允许不得转载。

jstorm源码分析:work管理

管理work前面已经知道了,通过SyncProcessEvent 可以从zookeeper上获取分配到一台机器的任务信息,那么有了这些信息,我们能干什么呢?接下来我们就来揭开SyncProcessEv...
  • benbendy1984
  • benbendy1984
  • 2016年05月31日 08:57
  • 1558

jstorm源码分析: nimbus

nimbus topologyAssign 准备工作 分配worker和task 信息写入 nimbus里面有很重要的成员的topologyAssigntopologyAssign这个类实现了Runn...
  • benbendy1984
  • benbendy1984
  • 2016年09月25日 22:57
  • 1440

中方召开中外媒体吹风会驳斥越南制造的各类谣言

4shared.com/folder/FOpxiAxm/_20140614.html 4shared.com/folder/a3-97fbj/_20140614.html 4shared.com/...
  • lltbnhfh
  • lltbnhfh
  • 2014年06月14日 22:54
  • 5

JStorm之Topology提交服务端

topology提交前会先判断集群中是否存在同名作业,如果存在在提交失败,如果没有则会增加集群提交次数SubmittedCount,每次提交成功,该变量都会加1,然后会为该作业分配一个id,生成规则如...
  • lihm0_1
  • lihm0_1
  • 2015年01月16日 19:25
  • 1601

JStorm-2.1.1源码分析--Topology提交(中)

一个topology包含一或多个spout bolt,spout负责在数据源获得数据并发送给bolt,每个bolt负责做完处理后发给下一个bolt。通常topology的创建是由TopologyBui...
  • u010010428
  • u010010428
  • 2016年06月10日 11:51
  • 985

JStorm之Nimbus简介

一、简介 JStorm集群包含两类节点:主控节点(Nimbus)和工作节点(Supervisor)。其分别对应的角色如下: 1. 主控节点(Nimbus)上运行Nimbus Daemon。Ni...
  • wwwxxdddx
  • wwwxxdddx
  • 2015年04月16日 16:02
  • 680

JStorm之Nimbus简介

一、简介 JStorm集群包含两类节点:主控节点(Nimbus)和工作节点(Supervisor)。其分别对应的角色如下: 1. 主控节点(Nimbus)上运行Nimbus Daemon。Ni...
  • wwwxxdddx
  • wwwxxdddx
  • 2015年11月22日 15:49
  • 932

JStorm之Topology调度

topology在服务端提交过程中,会经过一系列的验证和初始化:TP结构校验、创建本地目录并拷贝序列化文件jar包、生成znode用于存放TP和task等信息,最后一步才进行任务分配,如下图: ...
  • lihm0_1
  • lihm0_1
  • 2015年03月16日 19:10
  • 1293

storm提交topology时supervisor无法创建worker

问题描述   在本地eclipse运行是好好的,可是提交到集群上去之后什么都没反应。提交topology之后,在storm UI上看topology的worker数与在程序里设置的值是一样的,但是到对...
  • panguoyuan
  • panguoyuan
  • 2015年04月03日 11:26
  • 1922

Distributed RPC(分布式RPC)-Storm

Distributed RPC(分布式RPC) The idea behind distributed RPC (DRPC) is to parallelize the computation ...
  • babydavic
  • babydavic
  • 2012年12月08日 23:44
  • 4071
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:jstorm提交topology后子节点worker is dead
举报原因:
原因补充:

(最多只允许输入30个字)