kafka
文章平均质量分 81
DaHuangXiao
这个作者很懒,什么都没留下…
展开
-
kafka+sparkstreaming+redis offset使用mysql管理
之前尝试过使用kafka自带的topic进行offset管理的实践但这是kafka0.11才有的内容,目前很多客户都是kafka0.10,因此又去尝试了使用mysql管理,并存入redis直接贴代码了PS:在这里offset没有进行初始化,待补充package main.scala import kafka.common.TopicAndPartition import kafka.messag...原创 2018-06-03 21:07:41 · 1774 阅读 · 1 评论 -
初识原理系列之Kafka
做个初识原理系列就当做复习和巩固之前的知识吧基本框架对应概念1.producer: 消息生产者,发布消息到 kafka 集群的终端或服务。2.broker: kafka 集群中包含的服务器。3.topic: 每条发布到 kafka 集群的消息属于的类别,即 kafka 是面向 topic 的。4.partition: partition 是物理上的概念,每个 topic 包含一个或多个 p...原创 2018-05-23 16:33:20 · 218 阅读 · 0 评论