【原】Storm配置

最新推荐文章于 2024-10-14 16:11:40 发布

weixin_30535565

最新推荐文章于 2024-10-14 16:11:40 发布

阅读量69

点赞数

文章标签：大数据 java

原文链接：http://www.cnblogs.com/yourarebest/p/6010874.html

版权

Storm入门教程

1. Storm基础

Guaranteeing Message Processing（消息处理保障机制）

Daemon Fault Tolerance（守护线程容错机制）

Storm配置

Storm为了调整nimbus、supervisor和运行的topologies的行为，有许多配置项。一些配置是系统配置且不能被topology 修改，其他的可以被topology 修改。
在defaults.yaml 文件中每个配置项有默认值。你可以在Nimbus和supervisor的类路径上定义storm.yaml文件来覆写该配置。最后用 StormSubmitter提交你的topology 的具体配置项。然而，具体的配置项只能覆写前缀为"TOPOLOGY"开头的项。
Storm0.7.0以后允许你覆写每个bolt和spout的配置项。配置项如下：
1."topology.debug"
2."topology.max.spout.pending"
3."topology.max.task.parallelism"
4."topology.kryo.register": 此项不同于其它，因为序列化是被topology的所有组件使用详情看 Serialization.
Java API允许用两种方法配置选项：
1.内部：覆写任何spout或bolt的getComponentConfiguration 方法并返回配置项集合
2.外部：调用TopologyBuilder 的setSpout 和setBolt 方法返回对象的addConfiguration 和addConfigurations 方法中修改。
配置项的优先级别为：defaults.yaml < storm.yaml < topology specific configuration < internal component specific configuration < external component specific configuration.
相关链接：
Config: 创建topology 的一个配置帮助类。
defaults.yaml: 配置默认值。
Setting up a Storm cluster: 如何配置Storm集群。
Running topologies on a production cluster: 在集群中配置正在运行的topologies。
Local mode: Local模式下的配置项。