Kafka
三生三世
程序猿与汪
一枚专注于大数据领域知识的程序汪
展开
-
智慧出行/FAQ-报Offsets out of range with no configured reset policy for partition错误
Offsets out of range with no configured reset policy for partition假设我们有10000个数据sgment就把它分为0-1000,1000-2000,2000-3000…当我们消费到4500的时候报错了,然后也没有进行处理,过了kafka的生命周期,kafka就把数据全部清理掉了,当kafka在次进行消费,4501时没有数据了就报Offsets out of range with no configured reset policy f原创 2020-07-15 00:08:04 · 3814 阅读 · 0 评论 -
Kafka系列讲解-kafka是什么,是不是可靠的,定位是什么,消息队列有哪些好处,为什么选择kafka,kafka的特点是什么,架构,lrader选举机制,kafka源码编译过程,kafka常用命令
我将以问答形式来展示知识便于大家快速学习,快速查询kafka是不是可靠的?怎么做到kafka可靠,能不能从参数个原理是哪个分别介绍kafka是什么?Kafka是一个分布式、高吞吐,可分区的,可复制的基于日志提交的发布-订阅消息系统.由于支持高 吞吐量,可扩展而被广泛使用。kafka的定位是什么?消息系统:存储系统:流式处理平台:消息队列有哪些好处?为什么选择kafka?通过kafka可以解决:消息的重复消费,处理不同业务,传统消息队列只能对消息消费一次消息短暂保存kafk.原创 2020-07-11 16:19:46 · 341 阅读 · 0 评论 -
Kafka工具类-ConumerAPI工具类(手动提交offset手动指定offset,限流工具类,多线程并发处理工具类)
1.Kafka客户端操作AdminClientAPI:允许管理和检测Topic,broker以及其他kafka对象ProducerAPI:发布消息到1个或者多个topicConsumerAPI:订阅一个或者多个topic,并处理产生的消息上述三类API为我们生产中主要使用的APIproducer的作用就是创建topic并且向其发送数据,而consumer的作用是拉取topic上面数据,进行相应的业务处理.手动提交在真正生产中我们消费一条数据后,我们是要对其进行业务处理的,当然就会出现原创 2020-07-08 19:45:03 · 376 阅读 · 0 评论 -
Kafka工具类-kafkaproducterAPI工具类
1.Kafka客户端操作AdminClientAPI:允许管理和检测Topic,broker以及其他kafka对象ProducerAPI:发布消息到1个或者多个topicConsumerAPI:订阅一个或者多个topic,并处理产生的消息上述三类API为我们生产中主要使用的API2.producer发送模式异步发送同步发送回调发送kafka的Future类型,就是发出去不管了producer发送过程大致可以分成两个部分,一个是构建我们的Kafkaproducer,第二步部分是s原创 2020-07-07 17:54:42 · 1115 阅读 · 0 评论 -
Kafka工具类-AdminClientAPI工具类
1.Kafka客户端操作AdminClientAPI:允许管理和检测Topic,broker以及其他kafka对象ProducerAPI:发布消息到1个或者多个topicConsumerAPI:订阅一个或者多个topic,并处理产生的消息上述三类API为我们生产中主要使用的API...原创 2020-07-07 14:23:04 · 654 阅读 · 3 评论 -
kafka-KafkaManager工具安装
1.kafka-manager介绍为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时,这个管理工具也是一个非常好的可以快速浏览这个集群的工具,有如下功能:1.管理多个kafka集群2.便捷的检查kafka集群状态(topics,broke原创 2020-06-22 19:45:24 · 333 阅读 · 0 评论 -
Kafka-Callback回调接口
1. 什么是Callback其使用场景是什么?在这个send方法中我们看到需要传入两个参数,而第二个参数是一个CallbackCallback是一个回调接口:用户可以实现的回调接口Callback,以允许在请求完成时执行实现接口方法的代码。2.代码示例import org.apache.kafka.clients.producer.Callback;import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.原创 2020-06-20 01:12:09 · 7851 阅读 · 0 评论 -
大数据疑难杂症-WARN [kafka-producer-network-thread | producer-1] - [Producer clientId=producer-1] Connectio
环境统一:CDH:5.14.2Kafka:3.0.1报错截图解决办法:在hosts文件下设置ip映射成功运行:原创 2020-05-28 23:55:26 · 5354 阅读 · 0 评论 -
大数据组件-Kafka的javaAPI操作,Kafka StreamingAPI开发,
1.KafkaJavaApi操作1.添加maven依赖 <dependencies> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.10.0.0</version>原创 2020-05-28 10:45:34 · 236 阅读 · 0 评论 -
大数据组件-Kafka简介,术语,架构,安装搭建教程,kafka集群命令行操作
统一版本:zk:kafka:0.10.0.0jdk:1.8消息系统的分类1.点对点主要采用的队列的方式,如A->B 当B消费的队列中的数据,那么队列的数据就会被删除掉【如果B不消费那么就会存在队列中有很多的脏数据】2.发布-订阅发布与订阅主要三大组件主题:一个消息的分类发布者:将消息通过主动推送的方式推送给消息系统;订阅者:可以采用拉、推的方式从消息系统中获取数据kafka简介apache kafka是一个分布式发布-订阅消息系统和一个强大的队列,可以处理大量的数据,并使能够原创 2020-05-27 14:53:43 · 381 阅读 · 0 评论