Storm怎么完成对单词的计数?

  如图所示,单词计数topology由一个spout和下游的三个bolt组成。

  1.spout:动态接受数据源消息,多连接到动态数据源上。
  2.语句分割bolt:将每个句子分割成单词。
  3.单词计数bolt:以语句分割bolt的输出作为输入,统计每个单词的数量。
  单词计数bolt(WordCountBolt)订阅SplitSentenceBolt类的输出,保存每个特定单词出现的次数。每当bolt接收到一个tuple,会将对应单词的计数加1,并且向后发送该单词当前的计数。 ----->   {"word" : "dog" , "count" : 5}
  4.上报bolt订阅WordCountBolt类的输出,像WordCountBolt一样,维护一份所有单词对应的技术的表。当接收到一个tuple时,上报bolt会更新表中的计数数据,并且将值在终端打印。

  Storm中的bolt不是不存储任何数据嘛?这边指的是不存储tuple消息,但是可以定义list map等数据结构存储。

  Spout中的方法:open, nextTuple, DeclareOutputField;
  Bolt中的方法:prepare, execute, DeclareOutputField;
  execute()方法是IBolt接口定义的,每当从订阅的数据流中接收一个tuple,都会调用这个方法。

转载于:https://my.oschina.net/134596/blog/1795939

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值