storm守护进程启动过程中出现卡死现象的解决办法

最新推荐文章于 2021-12-05 21:53:40 发布
最新推荐文章于 2021-12-05 21:53:40 发布
阅读量1.6k 收藏
点赞数
分类专栏： storm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Rong_89/article/details/39989843
版权

在storm的使用过程中，可能很多人会遇到和我一样的问题：storm守护进程（nimbus、supervisor、ui）启动过程中出现卡死现象，如下图所示。查看进程，发现进程其实是正常启动了，而且日志中也看不出任何端倪。



现提供一个解决办法：分别使用storm nimbus &、storm supervisor &、storm ui &来启动这三大进程。

目前还没找到原因所在，希望有线索的网友留言讨论，谢谢！




Ronging
关注
专栏目录
Storm集群配置与启动
hongye301的博客
01-21 1789
一、Storm集群配置 搭建总体的架构： 实现步骤： 1.安装和配置jdk 2.安装和配置zookeeper 3.上传和解压storm 4.配置storm安装目录conf目录下的storm.yaml文件 storm.yaml配置示例： 找到storm.zookeeper.servers: 添加服务节点，如下： storm.zookeeper.servers: - “zkp1” - “zkp2” ...
Storm数据流分组报错的解决方式
Diana的博客
03-28 1904
4677 [main] INFO o.a.s.s.o.a.z.s.ZooKeeperServer - Server environment:zookeeper.version=3.4.6-1569965, built on 02/20/2014 09:09 GMT 4678 [main] INFO o.a.s.s.o.a.z.s.ZooKeeperServer - Server environ...
storm启动报错，storm-ui界面显示不正常
weixin_38205301的博客
04-17 2524
第一个问题： 启动失败，访问：8080，storm-ui界面，显示“无法访问此网站” 解决方法 查看报错信息：The storm client can only be run from within a release. You appear to be trying to run the client from a checkout of Storm's source code. You c...
Storm提交jar包时出现异常
zerokissingthefire的博客
12-29 1138
报错： java.io.IOException:Failed on local exception:com.google.protobuf.InvalidProtocolBufferException: Protocolmessage end-group tag did not match expected tag.; Host Details :local host is: "slav
Storm常见问题及解决方法收集【持续更新中】
weixin_33860528的博客
11-23 343
作者: 大圆那些事 | 文章可以转载，请以超链接形式标明文章原始出处和作者信息 网址: http://www.cnblogs.com/panfeng412/archive/2012/11/23/storm-common-issues-and-solutions-summarizing.html 以下是对个人在使用Storm过程中遇到的一些常见问题及解决方法的整理，其中部分问题的解决方法来自于网...
Storm杂谈之Topology的启动过程
01-30
COMMANDS是一个Dict，key是string，value是function我们是调用jar方法：exec_storm_class时加了一些默认的参数，jvmtype是client的，为什么用client模式启动，而不是server呐？二者区别请看之前的一篇blog：Real
Storm实战常见问题及解决方案
02-26
不然安装的java和ZK集群等就无法使用，尤其这个问题在我用shell写调度脚本去启动storm集群的时候就遇到过，如果没有将java的环境变量配置在/etc/.bashrc文件中，就会报一个错，这个问题在后面我会提到。记得刚刚接触...
storm集群启动与停止脚本共2页.pdf.zip
11-22
【标题】"storm集群启动与停止脚本共2页.pdf.zip" 提供的是一份关于storm集群管理的文档，主要涵盖了如何启动和停止storm集群的关键步骤。Storm是Apache开源的一个分布式实时计算系统，它能够处理大规模的数据流并...
StormStorm集成Kafka 从Kafka中读取数据
最新发布
03-12
5. 启动拓扑：提交拓扑到Storm集群，开始从Kafka读取和处理数据。 在处理数据时，Storm会维护一个内部offset（偏移量）来跟踪在Kafka中的位置，保证数据不丢失。`KafkaSpout`会自动处理容错和幂等性，确保在出现...
提高spark任务稳定性1 - Blacklist 机制
偷闲小苑
04-25 6678
场景 一个 spark 应用的产生过程： 获取需求 -> 编写spark代码 -> 测试通过 -> 扔上平台调度。 往往应用会正常运行一段时间，突然有一天运行失败，或是失败了一次才运行成功。 从开发者的角度看，我的代码没问题，测试也通过了，之前一段都运行好好的，怎么突然就失败了呢？为什么我重新调度又能正常运行了，是不是你们平台不稳定？是什么导致了上述问题? ...
storm在本地运行出现错误信息
csdn9874123的博客
11-20 6533
6985 [main] INFO  o.a.s.l.AsyncLocalizer - Cleaning up unused topologies in /tmp/181f740f-15f5-4b53-987e-f41206245329/supervisor/stormdist 6989 [main] INFO  o.a.s.d.s.Supervisor - Starting supervisor
Apache Spark 黑名单(Blacklist)机制介绍
chengujun7940的博客
01-12 1650
来源：https://www.iteblog.com/archives/1907.html 在使用 ApacheSpark的时候，作业会以分布式的方式在不同的节点上运行；特别是当集群的规模很大时，集群的节点出现各种问题是很常见的，比如某个磁盘出现问题等。我们都知道 ApacheSpar...
Linux -- 多进程编程之 - 守护进程的出错处理
青椒*^_^*凤爪爪的博客
12-05 6359
因为守护进程完全脱离终端控制，所以不能像其它进程一样将错误信息输出到控制终端。所以如何处理错误消息是一个问题。在Linux系统中，一般通用的办法是使用syslog服务，将程序中出错信息输入到系统日志文件中（如"/var/log/messages"，此文件需要用用root权限的用户查看），从而可以直观地看到程序的问题所在。在不同的Linux发行版中，系统日志的文件路径全名可能有所不同（比如可能是"/var/log/syslog"）。
【转】Storm并行度详解
weixin_30905981的博客
03-08 223
1、Storm并行度相关的概念 Storm集群有很多节点，按照类型分为nimbus（主节点）、supervisor（从节点），在conf/storm.yaml中配置了一个supervisor,有多个槽（supervisor.slots.ports），每个槽就是一个JVM，就是一个worker(一个节点，运行一个worker)，在每个worker里面可以运行多个线程叫做executor，在ex...
storm源码分析之任务分配--task assignment
weixin_30813225的博客
04-02 123
在"storm源码分析之topology提交过程"一文最后，submitTopologyWithOpts函数调用了mk-assignments函数。该函数的主要功能就是进行topology的任务分配（task assignment）。mk-assignments函数定义如下： ;; get existing assignment (just the executor->node+port ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值