![](https://img-blog.csdnimg.cn/20200330224852586.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
kafka
文章平均质量分 53
kafka
小哇666
专注web/大数据
展开
-
springboot整合kafka发送消息,消费消息
链接:https://pan.baidu.com/s/12oO0I29XtCKU-ysjURflwA。原创 2024-05-07 18:20:51 · 230 阅读 · 0 评论 -
kafka生产者(同步,异步,回调) 消费者(手动Offset,自动Offset)api演示
maven依赖<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>1.0.0</version></dependency>Producer API生产者消息发送流程Kafka的Prod原创 2021-04-30 12:27:50 · 2389 阅读 · 2 评论 -
flume 实时读取本地文件到kafka
本文写的比较简单,因为都大同小异,如果忘记flume的使用和语法等,可以看下如下文章,回顾下flume 实时读取本地文件到hdfshttps://blog.csdn.net/qq_41712271/article/details/103939224#Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1 # Describe/configure the sourcea1.sources.r原创 2020-10-02 18:41:45 · 1306 阅读 · 0 评论 -
安装 Kafka Eagle ,用以实现kafka 的监控
前提安装 jdk1.8 ,且位置在/usr/java下Kafka Eagle 官方安装文档https://www.kafka-eagle.org/articles/docs/installation/linux-macos.html1 解压Kafka Eagle,并配置环境变量//解压tar -zxvf kafka-eagle-xxx-bin.tar.gz//配置环境变量vi /etc/profileexport KE_HOME=/opt/software/kafka-eagle-we...原创 2020-10-02 13:40:58 · 351 阅读 · 0 评论 -
查看安装的kafka的版本的方法
开发kafka的程序时,maven中依赖的kafka版本一定要和服务器安装的kafka版本一致,不然会出现问题,其它的中间件也一样进入kafka安装目录下的libs文件夹下,扫一眼就知道了原创 2020-08-18 12:38:16 · 2197 阅读 · 0 评论 -
集群方式安装kafka,集群启动kafka,集群关闭kafka
集群规划安装前提1 hadoop102,hadoop103,hadoop104都已经装好jdk2hadoop102,hadoop103,hadoop104都已经装好zookeeper开始安装kafka1 首先进入hadoop102机器解压kafka压缩包,然后进入kafka安装目录,修改config/server.properties文件有些broker.id设置在log.dirs属性设置的目录下中的meta.properties文件中#broker 的全局唯一编号,不能重复,只能为数字b.原创 2020-08-18 11:29:35 · 251 阅读 · 0 评论 -
kafka工作流程分析-消费过程分析
Kafka 消费过程分析kafka 提供了两套 consumer API:高级 Consumer API 和低级 API。3.3.1 高级 API1)高级 API 优点高级 API 写起来简单不需要自行去管理 offset,系统通过 zookeeper 自行管理。不需要管理分区,副本等情况,.系统自动管理。消费者断线会自动根据上一次记录在 zookeeper 中的 offset 去接着获取数据(默认设置1 分钟更新一下 zookeeper 中存offset)可以使用 group 来区分对同一个原创 2020-08-17 20:38:41 · 619 阅读 · 0 评论 -
kafka工作流程分析-Broker保存消息
存储方式物理上把 topic 分成一个或多个 patition(对应 server.properties 中的 num.partitions=3 配置),每个patition 物理上对应一个文件夹(该文件夹存储该 patition 的所有消息和索引文件),如下:存储策略无论消息是否被消费,kafka 都会保留所有消息。有两种策略可以删除旧数据:1)基于时间:log.retention.hours=1682)基于大小:log.retention.bytes=1073741824需要注意的原创 2020-08-17 18:26:06 · 222 阅读 · 0 评论 -
kafka工作流程分析-生产过程
Kafka 生产过程分析写入方式producer 采用推(push)模式将消息发布到 broker,每条消息都被追加(append)到分区(patition)中,属于顺序写磁盘(顺序写磁盘效率比随机写内存要高,保障 kafka 吞吐率)。分区(Partition)消息发送时都被发送到一个 topic,其本质就是一个目录,而 topic 是由一些 Partition Logs(分区日志)组成,其组织结构如下图所示:我们可以看到,每个Partition 中的消息都是有序的,生产的消息...原创 2020-08-17 18:08:08 · 333 阅读 · 0 评论 -
kafka四大核心api
使用Producer API发布消息到kafka集群中一个或多个topic。 (重点掌握)使用Consumer API来订阅一个或多个topic,并处理产生的消息。 (重点掌握)使用Streams API充当一个流处理器,从1个或多个topic消费输入流,并生产输出流到1个或多个输出topic,有效地将输入流转换到输出流。使用ConnectorAPI可以构建和运行可重复使用的生产者或消费者,将topic连接到现有的应用程序或数据系统。例如,针对关系型数据库的连接器可以捕获到表的...原创 2020-08-17 17:18:08 · 1124 阅读 · 0 评论 -
kafka概述,架构说明,相关的名词解释
消息队列两种模式:点对点与发布订阅生产者发送一条消息到queue,只有一个消费者能收到。发布者发送到topic的消息,只要订阅了该topic的订阅者都会收到消息。kafka架构图Kafka 是一个分布式(发布订阅的)消息队列。Kafka 对消息保存时根据 Topic 进行归类,发送消息者称为 Producer,消息接受者称为 Consumer,此外 kafka 集群有多个 kafka 实例组成,每个实例(server)成为 broker。无论是 kafka 集群,还是 p.原创 2020-08-17 17:06:01 · 146 阅读 · 0 评论 -
kafka常用基本命令 topic主题操作kafka-topics.sh,生产消息,消费消息,查看消费者组消费情况kafka-consumer-groups.sh等
主题相关操作主题相关操作关注下ISR注:默认情况下,不能真正删除topic,只是把这个topic标记为删除(marked for deletion),要彻底把topic删除,先修改kafka安装目录下config/server.properties文件中的属性必须把kafka中与当前topic相关的数据目录和zookeeper中与当前topic相关的路径一并删除。原创 2020-01-02 17:25:28 · 224 阅读 · 1 评论