storm中使用Thread中的sleep故障总结

最新推荐文章于 2022-07-13 15:39:53 发布
最新推荐文章于 2022-07-13 15:39:53 发布
阅读量929 收藏 1
点赞数
分类专栏： 大数据与云计算

常常有这种业务场景，在bolt初始化中调用Thread线程的sleep方法，模拟类似定期调度的效果，比如用于数据累加计算、缓存清理等工作。

 

在解决项目中遇到的问题时，发现在bolt初始化中新启动一个线程后，然后调用Thread类的sleep时会有挂死的情况，线程在运行一段时间休眠后，无法唤醒。

后来改用bolt自带的Tick机制，解决了此问题， 在storm的官方文档中，并不推荐在bolt中使用Thread这个类,文档阐述说是会遇到预期不到的问题，建议以后不要 在storm中再启动单独的线程，出现问题不易排查和定位。

 

最后欢迎大家访问我的个人网站：1024s

崔世勋
关注
专栏目录
Storm原理与代码实例讲解
程序员光剑
08-12 249
Storm原理与代码实例讲解 1.背景介绍 1.1 大数据时代的到来 随着互联网、移动互联网、物联网等新兴技术的快速发展,数据量呈现出爆炸式增长。传统的批处理系统已经无法满足对实时数据处理的需求。因此,针对大数据实时计算的需求,流式计算应运而生
Storm实时大数据处理（二）
翱翔云端的专栏
08-29 4107
在上一篇博客（Storm实时大数据处理（一））中，我介绍了Storm的基本概念和原理，本文我们开始基于Storm提供的API开发自己的应用程序。入门开发Storm应用程序很简单，这得益于设计者为我们精心设计的简单API。 一、搭建开发环境 在生成环境中，Storm集群运行在基于Linux操作系统的分布式集群中，可喜的是，Storm提供了本地模式（Local Mode）来方便开发者开发Storm
storm--通过sleep定时统计topN
chbxw
06-12 482
###1.1、模拟发送源 1.1.1、nextTuple() String[] words = new String[] {"hello", "world", "hadoop", "hive", "spark", "hbase"}; //随机发送单词 String word = words[new Random().nextInt(
Thread.Sleep 是程序设计不佳的标志。
君子居易
07-13 1122
这是有缺陷的逻辑，因为应用程序仍然不能与Thread.Sleep 一起工作。这实际上只是解决了特定计算机上的问题。最初的问题可能是时间/同步问题，通过使用 Thread.Sleep 隐藏它来忽略它只会延迟问题并使其以随机、难以重现的方式发生。...
storm学习笔记
sheen口开河
06-23 6589
Storm学习笔记一、简介Storm是一个免费开源的分布式实时计算系统，它使得可靠地处理无限的数据流更加容易，可以实时的处理Hadoop的批量任务。Storm简单易用，且支持各种主流的程序语言。Storm有很多适用场景：实时分析、在线机器学习、连续计算、分布式RPC、分布式ETL、易扩展、支持容错，可确保你的数据得到处理，易于构建和操控。下图是Storm“流式数据处理”的概念图，即数据像水流一样从数
storm调优
jediael_lu的专栏
08-08 2111
storm调优@(STORM)[storm]本文从2个方面讨论storm的调优，第一个是集群的调优，第二个是运行在集群中的拓扑的调优，这部分还包括了使用storm-kafka从kafka中读取消息的调优。官方的一些建议请见：http://storm.apache.org/documentation/FAQ.html 中文版：http://ifeve.com/storm-faq/一、集群调优1、ne
storm spout的速度抑制问题
weixin_30790841的博客
11-04 208
转发请注明原文地址：http://www.cnblogs.com/dongxiao-yang/p/6031398.html 最近协助同事优化一个并发消费kafka数据用来计算的任务，压测过程中发现有两个spout对应的topic消费速度明显低于其他topic的指标，每个spout分配10个并发消费速度到了1w左右完全就上不去了，通过监控埋点分析出spout以及下游的bolt代码...
Storm 使用经验与性能优化（一）
zhuhailong
09-26 1615
Storm 内部剖析 源码讲解 使用经验 性能优化
storm坑之---同步问题
xbw673009796的专栏
06-29 2781
最近在做一个监控系统，用来监控网站上各个业务功能的调用量以及处理时间，以便及时发现问题，及时处理。做这种实时统计处理系统，自然首先想到了storm，于是现学现用，自然遇到了一些坑，而且不少是网上也难以找到的问题。在这里就做个记录，记录下这个最让我苦恼的错误。 　　首先我的业务逻辑是按分钟统计一分钟中的调用次数的数据，所以我在bolt里跑了一个定时器，定时将统计数据发到下一个bolt入库。所在
Storm开发
weixin_30387663的博客
12-30 154
以Storm开发指南中的一个简单例子开始 import backtype.storm.Config; import backtype.storm.LocalCluster; import backtype.storm.StormSubmitter; import backtype.storm.task.OutputCollector; import backtype.stor...
storm 常用类
yichudu
06-10 2330
获得 org.apache.storm storm-core 0.9.5 常用类 backtype.storm.topology.TopologyBuilder 用来建立topology。 SpoutDeclarer backtype.storm.topology.TopologyBuilder.setSpout(String id, IRichSpout spout, N
Java线程的传说(1)——中断线程Interrupted的用处
热门推荐
budapest的专栏
11-06 1万+
中断线程 —— interrupt()   一个正在运行的线程除了正常的时间片中断之外，能否被其他线程控制？或者说其他线程能否让指定线程放弃CPU或者提前结束运行？ 除了线程同步机制之外，还有两种方法：        (1) Thread.stop(), Thread.suspend(), Thread.resume() 和Runtime.runFinalizersOnExit()
Storm异常宕掉问题解决
骑猪喝咖啡
09-18 1429
搭建Strom测试环境后，进程、UI界面一切正常，但奇怪的是，下次登录服务器重新检查进程发现整个Storm shut down。
@async多线程编程和Feign失败熔断故障以及RestTemplate无法自动注入等问题的解决方案
Aaron_2018
02-13 3412
1.解决RestTemplate无法注入 /** *在启动类，解决restTemplate无法注入 */ @Autowired private RestTemplateBuilder builder; @Bean public RestTemplate restTemplate() { return builder.build(); ...
第一个Storm应用
╱/.进oоΟ的专栏
09-01 1万+
在全面介绍Storm之前，我们先通过一个简单的Demo让大家整体感受一下什么是Storm。 Storm运行模式： 本地模式(Local Mode)： 即Topology（相当于一个任务，后续会详细讲解）  运行在本地机器的单一JVM上，这个模式主要用来开发、调试。远程模式(Remote Mode):在这个模式，我们把我们的Topology提交到集群，在这个模式中，Storm的所有组件都
storm前传001
小麒麟的博客
10-10 518
前言:storm是三大计算框架中相对easy的一个计算框架，原理也比mapreduce的排序合并原理更容易理解 实践之构建storm集群，并测试: [实践前需要完成:安装docker,docker-compose，maven,jdk,python等工具] 需要有一定的python基础，大数据基础和容器基础 1基于docker-compose服务编排工具构建 git clone ...
Storm中集成ODM规则：分布式实时计算实践
"在分布式实时计算框架Storm中调用ODM规则运算的实践与理论" 在分布式实时计算领域，Apache Storm是一个重要的工具，它专为处理持续的数据流而设计，确保了高吞吐量和实时性。Storm的核心概念是拓扑（Topology），...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值