![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 66
baskbull
热爱,是梦想的起点
展开
-
第四、五章 Kafka高级API——生产者事务、数据同步机制
Kafka的幂等性,只能保证一条记录的在分区发送的原子性,但是如果要保证多条记录(多分区)之间的完整性,这个时候就需要开启kafk的事务操作。在Kafka0.11.0.0除了引人的幂等性的概念,同时也引入了事务的概念。通常Kafka的事务分为生产者事务Only、消费者&生产者事务。一般来说默认消费者消费的消息的级别是read_uncommited数据,这有可能读取到事务失败的数据,所有在开启生产者事务之后,需要用户设置消费者的事务隔离级别。isolation.level = read_uncom原创 2021-05-25 14:45:18 · 543 阅读 · 1 评论 -
第四章 Kafka高级API——Acks&Retries&幂等写
Kafka生产者在发送完一个的消息之后,要求Broker在规定的额时间Ack应答答,如果没有在规定时间内应答, Kafka生产者会尝试n次重新发送消息。acks=1默认acks=1 Leader会将Record写到其本地日志中,但会在不等待所有Follower的完全确认的情况下做出响应。在这种情况下,如果Leader在确认记录后立即失败,但在Follower复制记录之前失败,则记录将丢失。acks=0 生产者根本不会等待服务器的任何确认。该记录将立即添加到套接字缓冲区中并视为已发送。在这种情况下,不原创 2021-05-24 20:12:39 · 368 阅读 · 0 评论 -
第四章 Kafka高级API——offset自动控制
因为基础API中地生产者,消费者,自定义分区,序列化,拦截器等等都是比较基础的知识,所以我们就先略过啦~今天说的是kafka高级中的offset自动控制offset自动控制偏移量的首次消费策略第一次访问kafka服务器的时候Kafka消费者默认对于未订阅的topic的offset的时候,也就是系统并没有存储该消费者的消费分区的记录信息,默认Kafka消费者的默认首次消费策略:latestauto.offset.reset=latestearliest -自动将偏移量重置为最早的偏移量lat原创 2021-05-23 15:51:56 · 303 阅读 · 3 评论 -
第三章 Kafka基础API——Topic操作DML管理
先配置host文件 用ifconfig命令查看ip地址引入依赖<dependencies> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.2.0</version>原创 2021-05-22 11:39:59 · 130 阅读 · 2 评论 -
第二章 ——Kafka环境搭建&Topic管理
环境搭建-单机安装JDK1.8+,配置JAVA_HOME(CentOS 6.10 64bit)配置主机名和IP映射关闭防火墙&防火墙开机自启动安装&启动Zookeeper安装&启动|关闭Kafka环境搭建-集群安装JDK,配置JAVA_HOME(CentOS 6.10 64bit)配置主机名和IP映射关闭防火墙&防火墙开机自启动同步时钟 ntpate cn.pool.ntp.org | ntp[1-7].aliyun.com安装&启动Zoo原创 2021-05-19 22:16:35 · 159 阅读 · 1 评论 -
第一章(2)——Kafka特性Ⅱ
顺序写入&ZeroCopyKafka的特性之一就是高吞吐率,但是Kafka的消息是保存或缓存在磁盘上的,一般认为在磁盘上读写数据是会降低性能的,但是Kafka即使是普通的服务器, Kafka也可以轻松支持每秒百万级的写入请求,超过了大部分的消息中间件,这种特性也使得Katka在日志处理等海量数据场景广泛应用.Kafka会把收到的消息都写入到硬盘中,防止丢失数据.为了优化写入速度Kafka采用了两个技术顺序写入和MMFile 。因为硬盘是机械结构,每次读写都会寻址->写入,其中寻址是一个“机原创 2021-05-17 19:12:19 · 243 阅读 · 5 评论 -
第一章(2)——Kafka特性Ⅰ
分区&日志Topics and LogsKafka中所有消息是通过Topic为单位进行管理,每个Kafka中的Topic通常会有多个订阅者,负责订阅发送到该Topic中的数据。 Kafka负责管理集群中每个Topic的一组日志分区数据.生产者将数据发布到相应的Topic。负责选择将哪个记录分发送到Topic中的哪个Partition。例如可以round-robin方式完成此操作,然而这种仅是为了平衡负载.也可以根据某些语义分区功能(例如基于记录中的Key)进行此操作。每组日志分区是一个有序的不原创 2021-05-14 22:19:42 · 180 阅读 · 1 评论 -
第一章(1)——Kafka概述、介绍以及基础架构
Kafka概述、介绍Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以收集并处理用户在网站中的所有动作流数据以及物联网设备的采样信息。Apache Kafka是Apache软件基金会的开源的流处理平台,该平台提供了消息的订阅与发布的消息队列,一般用作系统间解耦、异步通信、削峰填谷等作用。同时Kafka又提供了Kafka streaming插件包实现了实时在线流处理。相比较一些专业的流处埋框架不同,Kafka Streaming计算是运行在应用端,具有简单、入门要求低、部署方便等优点。kafka包原创 2021-05-13 14:36:27 · 145 阅读 · 0 评论