Storm问题集

一、storm重复消费kafka中的数据

    Storm未启用安全模式,因此当kafka中没有新数据时,会默认重复消费已有的数据。此时只需要bolt继承的BaseRichBolt改为BaseBasicBolt即可。


二、storm提交Topology出现如下错误:Caused by: java.lang.RuntimeException: java.io.IOException: Found multiple defaults.yaml resources. You're probably bundling the Storm jars with your topology jar. 
[jar:file:/usr/local/storm/lib/storm-core-0.10.0.jar!/defaults.yaml, jar:file:/usr/local/storm/bin/jstorm-0.0.2.jar!/defaults.yaml]

    原因:jvm执行中发现多个defaults.yaml

    解决办法:先把pom中storm-core改为 <scope>provided</scope>,并且在打包的时候去除storm-core依赖。

<dependency>
         <groupId>org.apache.storm</groupId>
        <artifactId>storm-core</artifactId>
        <version>1.0.2</version>
        <scope>provided</scope>
 </dependency>

三、启动storm集群

    (1)启动supervisor节点

./storm supervisor &

    (2)启动 nimbus节点

./storm nimbus &

四、提交storm任务

    提交任务: ./storm jar bid.jar cn.sysu.metric.bid.BidTest 192.168.11.91

  • bid.jar:提交的jar包
  • cn.sysu.metric.bid.BidTest:执行的主类
  • 192.168.11.91: nimbus的ip地址

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值