《Storm企业级应用:实战、运维和调优》——2.2 启动模式

本节书摘来自华章计算机《Storm企业级应用:实战、运维和调优》一书中的第2章,第2.2节,作者:马延辉 陈书美 雷葆华著, 更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.2 启动模式

Storm有两种模式可以启动操作:本地模式和分布式模式。
2.2.1 本地模式
本地模式在一个进程中使用线程模拟Storm集群的所有功能,这样使用本地模式进行开发和测试将非常方便。本地模式运行Topology与在集群上运行Topology类似,但是提交拓扑任务是在本地机器上。
简单地使用LocalCluster类,就能创建一个进程内(in-process)集群。例如:

import backtype.Storm.LocalCluster;
LocalCluster cluster = new LocalCluster();

本地模式的常规配置需要注意如下几个参数:
1)Conf?ig.TOPOLOGY_MAX_TASK_PARALLELISM:单个组件产生的最大线程数。在通常情况下,生产环境的拓扑有大量并行线程(数百个线程),当尝试在本地模式测试拓扑时,它会使本地集群处于不合理负载。这个配置容易控制并行度。
2)Conf?ig.TOPOLOGY_DEBUG:当设置为true时,Spout或Bolt每发射一个消息,Storm就记录一个消息。这对程序调试非常有用。
在启动Storm后台进程时,需要对conf/storm.yaml配置文件中设置的storm.local.dir目录具有写权限。Storm后台进程启动后,将在Storm安装部署目录下的logs/子目录下生成各个进程的日志文件。
2.2.2 分布式模式
分布式模式提交的拓扑任务可以放在Storm集群的任意一个节点执行,下面讲解的安装及部署均使用了此模式。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值