storm-关于Tick的坑

1 篇文章 0 订阅

问题场景

优化storm下的一个bolt任务,测试时注释掉了一段关于Tick代码(为了不影响客户数据一致性),部署到测试环境报了个类型转换的错误。

现象

用了以下代码,是一个bolt部分代码

测试环境启动后stormUI中的bolt作业报错 java.lang.RuntimeException: java.lang.ClassCastException: java.lang.Long cannot be cast to java.lang.String

	@Override
    public Map<String, Object> getComponentConfiguration() {
        Config conf = new Config();
        conf.put(Config.TOPOLOGY_TICK_TUPLE_FREQ_SECS, 300);
        return conf;
    }
    
    @Override
    public void execute(Tuple tuple, BasicOutputCollector basicOutputCollector) {
        if (tuple == null) {
            return;
        }
        
        /*if (TupleUtils.isTick(tuple)) {
            // 处理逻辑
            return;
        }*/

        String json = tuple.getString(0); // 此处报类型转换错误,java.lang.RuntimeException: java.lang.ClassCastException: java.lang.Long cannot be cast to java.lang.String 
        // 处理逻辑
    }

分析

跟踪tuple.getString(0)至storm内部代码如下:

1	String getString(int var1);  // 接口里的方法定义
    
2   public String getString(int i) {	// TupleImpl里的实现
        return (String)this.values.get(i);
    }
    
3   private List<Object> values;	// TupleImpl里的集合定义
  1. 上述步骤1没啥说的,直接看接口方法实现2,发现storm在处理tuple时是把数据加载到了values列表对象,values里的类型是Object,好嘛 这时候强制转换就会有类型转换出错的风险,不知道为啥storm源码这么写。

  2. 有了这个风险再结合打印出的tuple源日志信息,发现报错时这个tuple为{“rate_secs”: 300}, 看为啥是300,代码里这个bolt把tuple类型设置成TOPOLOGY_TICK_TUPLE_FREQ_SECS了,tickTuple是Storm中引入的一种定时机制,利用tickTuple能够实现间隔一段时间进行某种处理的逻辑,当到了处理时返回的tuple就为{“rate_secs”: 300},而测试环境把处理逻辑注释了,直接走到了tuple.getString(0),接着storm坑爹的用了强制转换为String,于是报错。

日志截图:
在这里插入图片描述

处理

找到原因就好办了,把代码放开且注释内部处理逻辑即可。

正确代码

	@Override
    public Map<String, Object> getComponentConfiguration() {
        Config conf = new Config();
        conf.put(Config.TOPOLOGY_TICK_TUPLE_FREQ_SECS, 300);
        return conf;
    }
    
    @Override
    public void execute(Tuple tuple, BasicOutputCollector basicOutputCollector) {
        if (tuple == null) {
            return;
        }
        
        if (TupleUtils.isTick(tuple)) {
            /*// 处理逻辑*/
            return;
        }

        String json = tuple.getString(0); // 当tuple类型为tick时无法到达此处
        // 处理逻辑
    }
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值