![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Storm
tom_fans
这个作者很懒,什么都没留下…
展开
-
Storm-kafka-hbase基础编程一
上一篇文章介绍了Storm如果如何保证消息传送的,通过message ID以及anchered tuple机制来跟踪消息,如果完成了,返回ack,失败了返回fail以便重发消息。但是即使如此,大家也知道不能保证exactly once, 为什么? 大家去思考一下,因此本章所编写的程序是不保证exactly once 的,如果需要保证,需要使用Trident 接口,这个下次再进行介绍。S原创 2017-07-25 17:56:40 · 1198 阅读 · 4 评论 -
Storm-Kafka-Hbase 性能问题
上一篇文章介绍了一下Storm-kafka-hbase整合,虽然不能保证exactly once,但是at least once已经能够满足90%的业务,如果对前2篇内容都已经理解就已经可以为生产环境编写Storm程序了。今天谈论的问题是性能问题,开发最近写了一个程序用来处理kafka数据,然后存储到HBASE,中间的逻辑很简单,kafka的数据是一个json格式数据,通过bolt 解析这个jso原创 2017-07-27 18:02:08 · 3468 阅读 · 1 评论 -
Strom如何保证消息发送与接收
Storm从发送消息spout 到 接收消息bolt , 怎么样才认为消息已经发送成功了. Storm把spout, bolt 形成一个tree用来跟踪, spout发送消息后,会给每个message分配一个ID,这个ID是唯一的,用于跟踪消息,消息传送到bolt之后,然后处理,bolt通过ack,然后告诉spout,这条消息已经处理完成, spout然后把消息pop., 整个流程就结束了。根原创 2017-07-22 10:53:42 · 504 阅读 · 0 评论 -
Storm-Kafka: Offset lags for kafka not supported for older versions
最近又要迁移HADOOP,迁移过程不做表述,因为我使用了Storm实时流组件,之前版本是1.0.2,目前最新版1.2.2. 老版本storm和kafka结合的包是storm-kafka, 新版本的包为storm kafka client。我用老的JAR部署到STORM显示了一个告警:Offset lags for kafka not supported for older versions就是上面...原创 2018-07-05 18:08:14 · 2108 阅读 · 0 评论