Storm并发度详解

最新推荐文章于 2024-07-22 06:00:26 发布
最新推荐文章于 2024-07-22 06:00:26 发布
阅读量4.7k 收藏 3
点赞数 1
分类专栏： Storm Storm实战 文章标签： Storm Storm并发度 Storm并发度设置 Storm动态设置并发度
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lzm1340458776/article/details/45286207
版权
本文详细解析了Storm的工作进程、执行器和任务的关系，以及如何配置拓扑的并行度，包括工作进程数量、执行器数量和任务数量。还介绍了如何动态设置拓扑的并发度，包括使用Storm Web UI和rebalance命令进行再平衡操作。
摘要由CSDN通过智能技术生成

工作进程(Worker Process)

Worker是Spout/Bolt中运行具体处理逻辑的进程。拓扑跨一个或多个Worker进程执行。每个Worker进程是一个物理的JVM和拓扑执行所有任务的一个子集。例如，如果合并并行度的拓扑是300，已经分配50个Worker，然后每个Worker将执行6个任务，Storm会尝试在所有Worker上均匀的发布任务。


执行器(Executor)

Executor称为物理线程，每个Worker可以包含多个Executor。


任务(Task)

Task是具体的处理逻辑对象，默认情况下，执行器和任务对应，即一个执行器对应一个任务。


工作进程、执行器、任务三者之间的关系如下图所示：

                                       


   

最低0.47元/天 解锁文章
lzm1340458776
关注
专栏目录
Storm核心概念与实战详解
AI天才研究院
07-31 1670
2010年Hadoop项目开源后，Storm项目也随之走向人气爆棚。在如此火热的当下，给我们带来的好处不仅仅是增强对Hadoop平台的掌控能力，更重要的是让我们感受到了快速发展、海量数据处理能力、低延迟的优势。在这一系列文章中，我将深入浅出地介绍Storm项目，并从实际案例出发，带领大家全面理解Storm中的关键概念及其运作方式，让您轻松掌握Storm的高效率、高性能处理能力。
Storm Topology的并发度 (task和executor工作模型)
原创学无止尽
01-10 1265
Understanding the parallelism of a Storm topology https://github.com/nathanmarz/storm/wiki/Understanding-the-parallelism-of-a-Storm-topology   概念 一个Topology可以包含一个或多个worker(并行的跑在不同的machine上
storm 并发度
跟我一起去征服
09-08 731
storm的并发跟spark还是差异很大的。首先strom的topology可以指定worker的个数，woker下面可以指定多少个executor，这个executor就是并发数了，但是还有个task的概念。这个跟spark的概念是非常不同的。因为executor在spark中代表的是一个线程池，task就是一个个的线程。但是storm中的概念并不是这样的，首先来了解一下storm单线程和多线程
如何正确解读并发数？
最新发布
xiexiaojing的博客
07-22 337
本文的叙事结构是由浅入深，大家可根据自身情况选择跳过前面，直接往后看。基础认知并发和并行并发和并行概念的不同：1、并发：并发是指两个或多个事件在同一时间间隔发生。2、并行：并行是指两个或者多个事件在同一时刻发生。狭义一点理解：在同一台机器上，从CPU处理来看，并行度是有几个CPU内核并行度就是几，因为同一个时刻1个CPU只能做一件事；而并发度一般用每秒做多少事情来衡量，就出现了QPS、TPS等指标...
storm的并发度
张不帅
12-12 455
场景分析 单线程下:加减乘除,全局汇总 多线程下:局部加减乘除,持久化DB,多个bolt汇总一个bolt 使用场景 网站最常用的两个指标: PV(page views)：count (session_id) 即页面浏览量。 UV(user views)：count(distinct session_id) 即独立访客数。 a）用ip地址分析 指访问某个站点或点击某个网页的不同ip的人数...
storm 并行度
梁小明的博客
08-22 982
1个worker进程执行的是1个topology的子集（注：不会出现1个worker为多个topology服务）。1个worker进程会启动1个或多个executor线程来执行1个topology的component(spout或bolt)。因此，1个运行中的topology就是由集群中多台物理机上的多个worker进程组成的。 executor是1个被worker进程启动的单独线程。每
Storm的并发
Zonzereal的博客
01-18 3090
Storm的并发1个worker进程执行的是1个topology的子集（注：不会出现1个worker为多个topology服务）。1个worker进程会启动1个或多个executor线程来执行1个topology的(spout或bolt)。因此，1个运行中的topology就是由集群中多台(可能是一台)物理机上的一个或者多个worker进程组成的。executor是worker进程启动的一个单独线
Storm的文档详解
04-10
### Storm的文档详解 #### 一、Storm基础概念 **1.1 什么是Storm？** Apache Storm 是一款免费且开源的分布式实时计算系统。它专为处理无界数据流而设计，能够实现实时数据处理任务，具备低延迟、高可用、分布式...
Storm入门教程 之Storm原理和概念详解
07-18
2、注重实践，对较抽象难懂的技术点如Grouping策略、并发度及线程安全、批处理事务、DRPC、Storm Trident均结合企业场景开发案例进行讲解，简单易懂； 3、分享积累的经验和技巧，从架构的角度剖析场景和设计实现...
Storm 系列（七）—— Storm集成 Redis 详解
黑白影的博客
06-07 1703
一、简介 Storm-Redis提供了Storm与Redis的集成支持，你只需要引入对应的依赖即可使用： <dependency> <groupId>org.apache.storm</groupId> <artifactId>storm-redis</artifactId> <version>${st...
Storm并发机制详解
程序员小董的专栏
07-02 3971
本文可作为 >一书1.4节的读书笔记 在Storm中,一个task就可以理解为在集群中某个节点上运行的一个spout或者bolt实例。 记住一个task是一个实例。 实例明白吧 Class Person 是一个类, persona,personb都是Person的一个实例。 在集群运行运行中,topology主要有四个组成部分。 他们从低到高分别是task(bolt/spout实
storm 动态设置并发度
weixin_33889665的博客
04-02 92
转载于:https://www.cnblogs.com/yaohaitao/p/6659304.html
Storm worker内存设置
u014533807的专栏
01-16 1748
worker相关参数： topology.worker.max.heap.size.mb: 拓扑每个worker的最大堆内存 worker.childopts：worker启动的JVM参数，其中-Xmx%HEAP-MEM%m使用的是topology.worker.max.heap.size.mb woker.heap.memory.mb: worker的堆内存大小，默认为768m,如果上述参数未设置，则使用该参数 此外还可以通过代码设置： config.setTopologyWorkerMax
Heron(一)—-storm的一些短板
xqy1522的专栏
06-18 3333
twitter在使用storm过程中发现了一些storm的弊端，开发Herons相对storm需要提升的几个特性：1）更好的扩展性， 2）更容易调试 3）更高的性能  4）更好管理–可以和其他系统复用资源
storm配置：设置worker进程内存大小
xidajiancun
12-20 506
Storm中真正干活的是各个worker，而worker由supervisor负责启动。在topology启动过程中我们会看到如下的启动日志： 这就是启动一个worker进程，也就是一个JVM进程。 默认情况下，Storm启动worker进程时，JVM的最大内存是768M。 但我在使用过程中，由于会在Bolt中加载大量数据，768M内存无法满足需求，会导致内存溢出程序崩溃。 ...
Storm实战常见问题及解决方案
热门推荐
xiaolang85的专栏
08-11 6万+
该文档为实实在在的原创文档，转载请注明: http://blog.sina.com.cn/s/blog_8c243ea30101k0k1.html 类型 详细 备注 该文档是群里几个朋友在storm实战中遇到的一些问题，及其对应解决办法。     相关描述 ²  其他相关文档请参考新浪博客http://blo
调整 storm jvm 参数
王坦的博客
05-08 1292
storm 频繁发生 GC，且回收的内存很少，调整 worker 堆大小。 错误信息 java.lang.OutOfMemoryError: GC overhead limit exceededat 默认情况下，Storm启动worker进程时，JVM的最大内存是768M。 通过在Strom的配置文件storm.yaml中设置worker的启动参数 worker.childopts: "-Xm...
WebStorm内存爆满如何解决？已完美搞定
qq_40820382的博客
05-01 2万+
解决办法： 在settings -> editor -> File Types里把node_modules加入 ignore files and folders即可, 如图： 如果解决你的烦恼，请评论关注加转发，谢谢。 讲解： 使用WebStorm，配置不算低的台式机一般不会有卡顿现象，但是我的是笔记本，新的i7-9752H，8G内存条，但还是会很卡。即使我在webstorm64...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值