kafka
清风千雨
大数据,java后端
展开
-
kafka API消费数据,指定分区消费,分区,拦截器
a原创 2018-12-19 23:52:09 · 2354 阅读 · 0 评论 -
Kafka的安装部署
1)官网下载安装包 2)上传安装包 3)解压安装包 4)重命名 5)修改配置文件 config/server.properties broker.id=0 #每台机器的id不同即可 delete.topic.enable=true #是否允许删除主题 log.dirs=/root/hd/kafka/logs #运行日志保存位置 zookeeper.connect=hd09-01:2181...原创 2018-12-16 14:03:39 · 123 阅读 · 0 评论 -
kafka的流计算框架
需求: producer: 发送例如 aa-zz consumer:收到zz 通过-切分得到后面的,如果没有-就正常输出 Processor public class LogProcessor implements Processor<byte [],byte []> { ProcessorContext context ; //初始化 public voi...原创 2018-12-21 12:22:02 · 459 阅读 · 0 评论 -
kafka的命令行操作
1)查看当前集群中已存在的主题topic bin/kafka-topics.sh --zookeeper master:2181 --list 2)创建topic bin/kafka-topics.sh --zookeeper master:2181 --create --replication-facto r 3 --partitions 1 --topic guanxuan –zook...原创 2018-12-16 14:35:31 · 242 阅读 · 0 评论 -
Kafka重复消费,不丢失数据
kafka0.11.0.0版本正式支持精确一次处理语义exactly once semantic–EOS kafka幂等性参考 1)幂等producer 保证单个分区的只会发送一次,不会出现重复消息 2)事务(transation):保证原子性的写入多个分区,即写入到多个分区的消息要么全部成功,要么全部回滚 3)流式EOS:流处理本质上可看成是“”读取-处理-写入的管道“”。此EOS保证整个过程的...原创 2019-09-16 22:01:24 · 699 阅读 · 0 评论