造轮子
文章平均质量分 87
scuter_victor
这个作者很懒,什么都没留下…
展开
-
大数据平台Lambda架构浅析(全量计算+增量计算)
笔者刚接触大数据方面时,只知道Hadoop和时下很火的Spark,对Hadoop、Spark的认知只停留在跑跑demo,写点离线小app,后来随着学业项目的需要,开始逐步了解时下工业界的大数据平台是如何搭建起来的。在搜刮大量资料后,从一篇paper里看到Lambda这一陌生的字眼,再一搜,发现这正是我需要的大数据平台基础架构。Oryx2正是基于Lambda架构和Spark搭建的大数据处理开源框架。原创 2016-12-23 22:50:53 · 5465 阅读 · 2 评论 -
Kafka使用进阶——消费者
Introducing the Kafka Consumer: Getting Started with the New Apache Kafka 0.9 Consumer Client http://www.confluent.io/blog/tutorial-getting-started-with-the-new-apache-kafka-0.9-consumer-client 当kafk转载 2017-01-21 22:25:07 · 19328 阅读 · 0 评论 -
Kafka某topic无法消费解决方案&Kafka某Topic数据清理
由于项目原因,最近经常碰到Kafka消息队列某topic在集群宕机重启后无法消费的情况。碰到这种情况,有三步去判断原因所在:step A:如果用kafka串口(即console-consumer)是可以正常消费该topic,则排除kafka集群出现故障step B:若平台业务能正常消费其他topic的消息,则排除平台业务代码逻辑问题step C:不到万不得已,则只能手动删除原创 2017-05-25 22:42:49 · 26825 阅读 · 0 评论