Kafka
qnamqj
这个作者很懒,什么都没留下…
展开
-
kafka contrib包之hadoop-consumer分析
近来由于项目需要,要使用到kafka作为数据的中转站,所有的数据都会进入到kafka,再流向数据使用方,有在线的spark,有离线的spark sql;但作为离线的使用,一般数据存入于hdfs之上,为了分析的方便。我一贯的经验是建目录类似于DB的shema存放。因此这就需要有一个hadoop-consumer完成数据从kafka到hadoop的ETL。在kafka官网上有一个极短的介绍kafka源原创 2015-08-04 14:32:42 · 1142 阅读 · 0 评论 -
kafka connector之sink
1.kafka connector基本架构模型图 topic log consumer connector Kafka connect有两个概念,一个source,另一个是sink。source是把数据从一个系统拷贝到kafka里,sink是从kafka拷贝到另一个系统里 Connectors – the high level原创 2016-11-29 11:32:49 · 4092 阅读 · 0 评论