storm kill不掉运行的Topology

最新推荐文章于 2018-08-01 16:54:32 发布
最新推荐文章于 2018-08-01 16:54:32 发布
阅读量1.1k 收藏
点赞数
分类专栏： zookeeper storm 文章标签： storm kill不掉运行的Topology
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liyonghui123/article/details/84693130
版权

 

 

storm程序kill是出现错误，storm kill不掉运行的Topology

 

 

Topology 的持久化状态包括： active, inactive, killed, rebalancing 四个状态。

代码上看到每种状态都可以转换成一些持久化 ( 写入到 zk 中的状态 ) 或者中间状态。

 

我们在shell上的操作实际上就是改变的zookeeper数据存储的程序状态，出错直接清空zookeeper目录即可

 

详细文章见：http://lbxc.iteye.com/blog/1530254

liyonghui123
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
cluster模式下storm kill topology时做cleanup的解决方法
剪刀手麦小孩的全端之路
06-15 5764
[时间是让人猝不及防的东西，晴时有风阴时有雨] 1.背景 在bolt中，需要在topology被关闭前执行某个操作，而根据官方文档： The cleanup method is called when a Bolt is being shutdown and should cleanup any resources that were opened.
Storm杂谈之Topology的启动过程
01-30
大家都知道，要提交StormTopology到Cluster，需要运行如下命令：bin目录下storm是一个Python文件，我们可以看一下Python脚本的main方法首先解析args参数，解析完了之后，把所有的参数传递给COMMANDS，由COMMANDS调用...
Storm实战常见问题及解决方案
热门推荐
xiaolang85的专栏
08-11 6万+
该文档为实实在在的原创文档，转载请注明: http://blog.sina.com.cn/s/blog_8c243ea30101k0k1.html 类型 详细 备注 该文档是群里几个朋友在storm实战中遇到的一些问题，及其对应解决办法。     相关描述 ²  其他相关文档请参考新浪博客http://blo
大数据_Storm_cluster模式下storm kill topology时做cleanup的解决方法
迎难而上
08-09 2456
1.背景 在bolt中，需要在topology被关闭前执行某个操作，而根据官方文档： The cleanup method is called when a Bolt is being shutdown and should cleanup any resources that were opened. There's no guarantee that this
停止storm任务的两种方式
12-20 1万+
（1）通过命令行 [beifeng@bigdata01 storm-0.9.6]$ bin/storm kill wordcount 其中，wordcout为topology的名称，即提交jar包是指定的topology名称 （2）通过web页面 点击wordcount进入topology详情页面：   topology详情页面如下： 点击ki
jstorm kill mytopo 后 Topology 一直处于 killed 状态
haojiliang
08-01 987
jstorm 设置了一个比较大的超时时间（topology.message.timeout.secs），导致 jstorm kill mytopo 后 Topology 一直处于 killed 状态，直到达到超时时间后 Topology 才结束。 解决：调低超时时间（topology.message.timeout.secs）值，如果将超时时间调低后导致数据处理不完，可以将 topology.m...
storm提交topology的过程共1页.pdf.zip
最新发布
11-22
【标题】"storm提交topology的过程"涉及到的是Apache Storm这一分布式实时计算系统中的核心操作——部署和运行流处理任务，即topology。Apache Storm被广泛应用于实时数据处理、在线机器学习、持续计算以及大规模...
storm读书笔记---storm运行流程
01-27
一个完整的Storm程序由Topology组成，Topology通过TopologyBuilder来构建，通过setSpout和setBolt方法将Spout和Bolt连接起来，定义数据流的处理逻辑。 数据流的流向在TopologyBuilder中通过setSpout和setBolt方法的...
Storm在Linux集群上运行.docx
02-13
在集群上运行时，Storm会自动将topology分配到可用的工作节点上，并根据拓扑定义进行数据处理。为了监控topology的状态，可以使用Storm UI，它是一个基于Web的界面，可通过集群的Nimbus节点的指定端口访问（默认为...
C/C++实现对STORM运行信息查看及控制的方法
12-26
本文所述程序实例主要实现在后端应用服务器上实时获取STORM集群的运行信息和topology相关的提交和控制。对此，通过对STORM UI和CMD源码的分析，得出可以通过其thrift接口调用实现这些功能。先下载一个thrift库进行...
storm kill topology
atarik@163.com
04-07 1237
kill topology后,spout不再接收消息,但是其发送的消息待处理的会继续在bolt组件中处理 在达到kill 的时间后所有组件停止工作 spout的速度不受bolt处理tuple的速度影响,所以需要处理好spout和bolt的处理速度关系 各个bolt间的速度是相互影响的,所有的bolt处理速度受到速度最慢的bolt的制约
【Apache Storm系列之四】Storm Topology生命周期【翻译】
Jonathan.Wei的专栏
01-26 3819
前阵子写的文章大部分都是以实践为主，接下来我们来看下Topology生命周期，也就是实现流程这层的东西；
Storm Topology的生命周期过程分析
云计算、分布式架构、K8S、大数据、机器学习、搜索、推荐、广告
04-27 4679
这里从提交一个topology和kill一个topology的过程来对topology的生命周期进行分析 1、提交topology， 通过StormSubmitter.submitTopology提交一个topology之后，客户端、Nimbus、Supervisor的行为如下， Client: Client通过Nimbus的Thrift接口上传jar到Nimbus的Inbox目录中，
Storm异常宕掉问题解决
骑猪喝咖啡
09-18 1424
搭建Strom测试环境后，进程、UI界面一切正常，但奇怪的是，下次登录服务器重新检查进程发现整个Storm shut down。
理解Storm Topology的并发机制
CxCo的专栏
10-14 2391
运行时topology的组成：worker processes、executors(执行者线程)以及tasks Storm区分了以下三个主要的实体并用来在Storm集群上运行起一个topology: 1.Worker processes 2.Executors(线程) 3.Tasks 下面是这3者关系的一个简单示例: 一个worker process负责执行topology的部
Storm中Topology的状态
jmppok的专栏
12-09 3600
Twitter Storm中Topology的状态 状态转换如下,Topology 的持久化状态包括： active, inactive, killed, rebalancing 四个状态。 代码上看到每种状态都可以转换成一些持久化 ( 写入到 zk 中的状态 ) 或者中间状态。 Java代码   (defn state-transitions [nimbus storm-
屏蔽storm ui的kill功能
cache007的专栏
09-08 638
今天有个storm的topology被人kill掉了，但是找不到是谁做的，storm的ui有kill topology的功能，但是没有权限验证，这样就导致知道ui地址的任何人都可以kill掉topology，比较危险，考虑把这个action disable掉。 有两种方法： 1.前端增加nginx，做location 分析ui页面，对应kill的button，html中的acti
storm集群启动/停止脚本
zzShine的专栏
01-14 8853
storm集群启动脚本    在$STORM_HOME/bin下touch start-storm-cluster.sh并chmod a+x start-storm-cluster.sh#!/bin/bash #nimbus节点 nimbusServers='mini01 mini02'#supervisor节点 supervisorServers='mini01 mini02 mini03'#启动
Storm集群启动与停止脚本及其注意事项
Chenx
04-17 3668
前提：集群之间首先要做免密码登陆 集群中主节点启动：nimbus和ui进程 从节点启动：supervisor和logviewer进程1：启动集群 需要先设置从节点的ip，保存到文件supervisorhost中，一行是一个节点的ip 192.168.1.171 192.168.1.172在主节点写一个脚本：start-all.sh #!/bin/bash s
Storm实时计算入门：Topology、Spout与Bolt解析
每个Topology会持续运行，直到手动停止或发生故障。开发者可以通过调整StreamGroupings来定义数据流在不同组件之间的流向。 2. **Spout**: Spout作为Topology的数据源，负责生成源源不断的Tuple。这可以是来自...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值