Storm
汤愈韬
沉默是金
展开
-
Storm集群是如何启动的,任务是如何执行的?
1.Storm集群是如何启动的,任务是如何执行的? 集群架构中的各个模块如何启动? 任务如何分配,如何执行? storm启动nimbus服务的命令: cd /export/servers/storm/bin/ nohup ./storm nimbus & 1.客户端运行storm nimbus时,会调用storm的脚本,生成一条java命令,命令格式如下: java -server x...原创 2018-12-15 17:47:20 · 1477 阅读 · 0 评论 -
Storm组件本地目录树和zookeeper上的目录树
Storm组件本地目录树 Storm zookeeper目录树原创 2018-12-15 17:48:39 · 857 阅读 · 0 评论 -
Storm任务提交过程
原创 2018-12-15 17:49:32 · 685 阅读 · 0 评论 -
Storm的worker,executor,task -- 进程,线程
1.Storm并行度相关的概念 Storm集群有很多节点,按照类型分为nimbus(主节点),supervisor(从节点),在conf/storm.yaml中配置了一个supervisor,有多个槽(supervisor.slots.ports),每个槽就是一个JVM,就是一个worker(一个节点运行一个worker),在每个worker里面运行多个线程叫做executor,在executor...原创 2018-12-15 20:10:10 · 1162 阅读 · 0 评论 -
shell脚本启动与停止storm集群
请参考原文博客: https://blog.csdn.net/fct2001140269/article/details/80879877 我已经写好了这些脚本,您直接下载,改一下就可以直接用了。 https://pan.baidu.com/s/10_E_Cq0iVaI0pFWIiySvDQ 我在写脚本测试的时候出现了问题,解析的博客: https://blog.csdn.net/qq_38200...原创 2018-12-11 10:06:54 · 1481 阅读 · 2 评论 -
Storm体系结构和概念解释
请看作者的原文: 这几篇博客,我认为比较详细 https://www.jianshu.com/p/90456bab8487?winzoom=1 https://blog.csdn.net/c_ful/article/details/78497237 https://blog.csdn.net/liuyanwu5289227/article/details/75136959 ...原创 2018-12-11 17:39:49 · 1454 阅读 · 0 评论 -
Storm流之FieldGrouping字段分组
请看原文博客: https://blog.csdn.net/Simon_09010817/article/details/80092080 这篇博客写得更加详细 https://blog.csdn.net/wangshijie1234567/article/details/48315605原创 2018-12-11 17:53:37 · 1374 阅读 · 0 评论 -
手动实现Storm的任务执行
package com.thp.bigdata; import java.util.HashMap; import java.util.Map; import java.util.Random; import java.util.concurrent.ArrayBlockingQueue; import java.util.concurrent.BlockingQueue; import jav...原创 2018-12-18 11:38:21 · 734 阅读 · 0 评论