Kafka专题学习
文章平均质量分 84
本专栏为kafka的基础以及进阶相关知识的学习,包含原理、实操以及Kafka的高级特性。
风过水无痕·
若人生之如初见,何事秋风悲画扇?
展开
-
第四章 Kafka-事务相关
一、Offset自动控制Kafka消费者默认对于未订阅的topic的offset的时候,也就是系统并没有存储该消费者的消费分区的记录信息,默认Kafka消费者的默认首次消费策略:latest(最新)auto.offset.reset=latest 自动偏移量的重置 erliest - 自动将偏移量重置为最早的偏移量 latest - 自动将偏移量重置为最新的偏移量 none - 如果未找到消费者组的先前偏移量,则向消费者抛出异常 latest:package co原创 2021-09-24 13:05:56 · 790 阅读 · 1 评论 -
第三章 Kafka-基础操作
目录一、Kafka基础API1.1、创建KafkaAdminClient1.2、异步创建Topic信息1.3、同步创建Topic信息1.4、查看Topic列表1.5、异步删除Topic1.6、同步删除Topic1.7、查看topic详情信息1.8、关闭client二、生产者和消费者2.1、生产者:2.2、消费者:2.3、消费者(手动指定起始消费位置):三、自定义分区3.1、自定义分区策略:3.2、采用自定义分区策略生成消息:四、序列化原创 2021-09-23 15:05:33 · 171 阅读 · 0 评论 -
第二章 Kafka-环境搭建(单机、集群、topic管理)
基础环境要求单机:JDK1.8+,配置JAVA_HOME 操作系统Centos 6.10 64bit 配置主机名和IP映射 关闭防火墙&防火墙开机自动启动 安装&启动Zookeeper 安装&启动/关闭Kafka集群:安装JDK,配置JAVA_HOME 操作系统Centos 6.10 64bit 配置主机名和IP映射 关闭防火墙&防火墙开机自动启动 同步时钟ntpdate cn.pool.ntp.org | ntp[1-7].aliyun...原创 2021-09-18 10:44:18 · 189 阅读 · 0 评论 -
第一章 kafka-初识(基础)
1、概述kafka是一个流处理平台,该平台提供了消息的订阅与发布的消息队列,一般作用于系统间的解耦、异步通信、削峰填谷等作用。同时kafka又提供了kafka streaming插件包实现了实时在线流处理。相比较一些专业的流处理框架不同,kafka Streaming计算是运行在应用端,具有简单、入门简单、入门要求低、部署方便等优点。1.1、异步通信、系统解耦1.2、削峰填谷1.3、Kafka重点研究的内容 消息队列Message Queue(重点) ...原创 2021-09-17 12:04:00 · 235 阅读 · 0 评论