kafka
文章平均质量分 64
kafka
orange大数据技术探索者
这个作者很懒,什么都没留下…
展开
-
从指定offset消费kafka数据
从指定offset消费kafka数据java从指定offset消费kafka数据代码import com.google.common.collect.Maps;import lombok.extern.slf4j.Slf4j;import org.apache.kafka.clients.consumer.ConsumerRecord;import org.apache.kafka.clients.consumer.ConsumerRecords;import org.apache.kafka原创 2021-04-20 17:07:38 · 1832 阅读 · 0 评论 -
Kafka Consumer
Consumer消费数据时的可靠性是很容易保证的,因为数据在Kafka中是持久化的,故不用担心数据丢失问题。由于consumer在消费过程中可能会出现断电宕机等故障,consumer恢复后,需要从故障前的位置的继续消费,所以consumer需要实时记录自己消费到了哪个offset,以便故障恢复后继续消费。所以offset的维护是Consumer消费数据是必须考虑的问题<dependency><groupId>org.apache.kafka</groupId>&原创 2020-06-14 15:51:52 · 907 阅读 · 0 评论 -
kafka producer
消息发送流程Kafka的Producer发送消息采用的是异步发送的方式在消息发送的过程中,涉及到了两个线程——main线程和Sender线程,以及一个线程共享变量——RecordAccumulator。main线程将消息发送给RecordAccumulator,Sender线程不断从RecordAccumulator中拉取消息发送到Kafka broker3个api对应ack的三种机制<dependency><groupId>org.apache.kafka</g原创 2020-06-14 11:17:00 · 255 阅读 · 0 评论 -
Spark消费Kafka的两种方式
在这里插入代码片原创 2020-06-11 17:40:24 · 5970 阅读 · 1 评论 -
kafka数据可靠性
目录ackLEO和HWISR和ARfollower故障leader故障注意ackack是一种应答机制,有三种0:producer不等待broker的ack,这一操作提供了一个最低的延迟,broker一接收到还没有写入磁盘就已经返回,当broker故障时有可能丢失数据;1:producer等待broker的ack,partition的leader落盘成功不用等待其他flower同步就返回ack,如果在follower同步成功之前leader故障,那么将会丢失数据;-1(all):producer等原创 2019-04-20 21:12:07 · 231 阅读 · 0 评论 -
kafka架构
目录brokerControllertopictopic注意事项partitionsegment日志目录结构那么如果我指定了一个offset,Kafka Controller怎么查找到对应的消息?Partition的作用kafka分区数怎么设置,和consumer数目关系副本生产者消费者broker节点,多个broker搭建出kafka集群ControllerKafka集群中有一个broker会被选举为Controller,负责管理集群broker的上下线,所有topic的分区副本分配和leader原创 2019-04-17 19:59:58 · 164 阅读 · 0 评论 -
kafka拦截器
kafka通过zk选举leader以及在消费组变化时进行负载均衡生产者使用push(推)模式将消息发布到broker消费者用pill(拉)模式从broker订阅发布消息原创 2019-04-17 21:12:31 · 395 阅读 · 0 评论 -
Kafka Manager安装介绍
解压unzip kafka-manager-1.3.3.15.zip修改配置cd ./kafka-manager-1.3.3.15/conf/vim application.conf修改为你的zk集群,我的是单机版kafka-manager.zkhosts="standalone:2181"修改权限chmod 777 bin/kafka-manager启动bin/kafka-manager...原创 2020-06-13 21:19:30 · 650 阅读 · 0 评论 -
kafka单机版安装
zookeeper下载并解压wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz tar -zxvf ./zookeeper-3.4.14.tar.gz 修改配置文件cd ./zookeeper-3.4.14/conf/cp zoo_sample.cfg zoo.cfg vi zoo.cfgtickTime=2000initLimit=10原创 2020-06-12 20:28:21 · 301 阅读 · 0 评论 -
kafka几款监控管理工具对比
KafkaManager 雅虎出品,可管理多个Kafka集群,是目前功能最全的管理工具。但是注意,当你的Topic太多,监控数据会占用你大量的带宽,造成你的机器负载增高。其监控功能偏弱,不满足需求。KafkaOffsetMonitor 程序一个jar包的形式运行,部署较为方便。只有监控功能,使用起来也较为安全。Kafka Web Console 监控功能较为全面,可以预览消息,监控Offset、Lag等信息,不建议在生产环境中使用。Burrow 是LinkedIn开源的一款专门监控consumer l原创 2020-06-11 17:58:54 · 1437 阅读 · 0 评论 -
Kafka Monitor安装介绍
Kafka Monitor是kafka的监控工具,安装简单,页面简单,主要是用来监控消费者和offset,对kafka集群的支持较少上传jar包mkdir kafka-offset-monitorcp KafkaOffsetMonitor-assembly-0.4.6-SNAPSHOT.jar /usr/local/bigdata/kafka-offset-monitor/cd kafka-offset-monitor创建目录mkdir mobile-logschmod 777 mobil原创 2020-06-13 20:54:51 · 4359 阅读 · 1 评论 -
kafka01 与其他消息系统对比
消息系统分类Peer-to-Peer基于Pull或者Polling接收消息发送到队列中的消息被一个而且仅仅一个接受者所接收,即使有多个接收者在同一个队列中侦听同一消息支持异步“即发即弃”的消息传送方式(发送后没接收就丢弃),也支持同步请求/应答传送方式(发送了之后必须收到才发下一个)发布/订阅发布到一个主题(Topic)的消息,可被多个订阅者所接收发布/订阅可基于Push消费数据,...原创 2019-04-10 21:15:52 · 269 阅读 · 0 评论