Kafka
BigMoM1573
淡泊名利
展开
-
Kafka>Kafka知识点总结
文章目录Kafka知识点总结1、什么是kafka2、kafka的使用场景3、kafka优缺点4、Kafka架构(流程)5、Kafka架构(API)6、Topic内部有哪些组成?7、分区和消费组内的消费者之间的关系有哪些情况?8、分区数、消费者与读取效率之间的关系9、副本数与broker之间的关系10、什么是主/从副本11、主/从复本的作用是什么12、Lsr是什么?13、成产者生产数据到kafka集...原创 2020-04-05 23:22:21 · 165 阅读 · 0 评论 -
kafka>kafka监控及运维
文章目录1、kafka-eagle概述2、环境和安装2.1、安装步骤2.2、解压2.3、准备数据库2.4、修改kafak-eagle配置文件2.5、配置环境变量2.6、启动kafka-eagle2.7、主界面在开发工作中,消费在Kafka集群中消息,数据变化是我们关注的问题,当业务前提不复杂时,我们可以使用Kafka 命令提供带有Zookeeper客户端工具的工具,可以轻松完成我们的工作。随着...原创 2020-04-05 22:54:12 · 438 阅读 · 0 评论 -
kafka>kafka的log-存储机制和kafka消息不丢失机制
文章目录一:kafka的log-存储机制1、kafka中log日志目录及组成2、kafka的offset查找过程3、kafka Message的物理结构及介绍4、kafka中log CleanUp二:kafka消息不丢失制1、生产者生产数据不丢失2、发送数据方式3、ack机制(确认机制)4、kafka的broker中数据不丢失5、消费者消费数据不丢失一:kafka的log-存储机制1、kafk...原创 2020-04-05 22:32:47 · 364 阅读 · 0 评论 -
kafka>kafka的JavaAPI操作
文章目录1、创建maven工程并添加jar包2、生产者代码1、使用生产者,生产数据2、kafka当中的数据分区3、消费者代码1、自动提交offset2、手动提交offset3、消费完每个分区之后手动提交offset4、指定分区数据进行消费5、重复消费与数据丢失6、consumer消费者消费数据流程4、kafka Streams API开发第一步:创建一个topic第二步:开发StreamAPI第三...原创 2020-04-05 22:11:51 · 635 阅读 · 0 评论 -
Kafka>Kafka集群操作
文章目录Kafka集群操作1、创建topic(主题)2、删除topic(主题)3、查看topic(主题命令)4、生产者生产数据5、消费者消费数据6、运行describe topics命令7、增加topic分区数8、增加配置9、删除配置Kafka集群操作首先进入到kafka的安装目录下cd /export/servers/kafka_2.11-1.0.01、创建topic(主题)创建一...原创 2020-04-05 02:05:49 · 133 阅读 · 0 评论 -
kafka>kafka集群环境搭建
文章目录1、初始化环境准备2、下载安装包并上传解压3、node01服务器修改kafka配置文件4、安装包分发到其他服务器上面去5、node02与node03服务器修改配置文件6、kafka集群启动与停止1、初始化环境准备安装jdk,安装zookeeper并保证zk服务正常启动2、下载安装包并上传解压通过以下地址进行下载安装包node01执行以下命令,下载并解压#rz上传softc...原创 2020-04-05 01:44:29 · 81 阅读 · 0 评论 -
kafka>kafka主要组件说明
文章目录1、kafka当中的producer说明2、kafka当中的topic说明3、kafka当中的partition说明4、kafka当中partition的副本数说明5、kafka当中的segment说明6、kafka当中的partition的offset7、kafka分区与消费组的关系8、kafka当中的consumer1、kafka当中的producer说明producer主要是用于...原创 2020-04-05 01:17:05 · 170 阅读 · 0 评论 -
Kafka>kafka的架构介绍及内部细节剖析
文章目录1、kafka的架构介绍2、kafka架构内部细节剖析1、kafka的架构介绍宏观上,Kafka的架构包含四大部分1、生产者API允许应用程序发布记录流至一个或者多个kafka的主题(topics)。2、消费者API允许应用程序订阅一个或者多个主题,并处理这些主题接收到的记录流。3、StreamsAPI允许应用程序充当流处理器(stream processor),从一个...原创 2020-04-05 00:43:35 · 227 阅读 · 0 评论 -
kafka> kafka的基本介绍及消息队列的介绍
文章目录1、kafka的基本介绍1.2、kafka的好处1.3、分布式的发布与订阅系统1.4、kafka的主要应用场景2、消息队列的介绍2.2、Kafka消息队列2.3、消息队列的应用场景2.4、消息队列的两种模式2.4.1、点对点模式2.4.2、发布/订阅模式1、kafka的基本介绍官网:http://kafka.apache.org/kafka是最初由linkedin公司开发的,使用sc...原创 2020-04-05 00:11:53 · 135 阅读 · 0 评论