![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
爱喝水的绿萝
这个作者很懒,什么都没留下…
展开
-
KafKa(一)安装、入门
1、概述1、KafKa是什么在流式计算中,Kafka一般用来缓存数据,SparkStreaming、Flink通过消费Kafka的数据进行计算。 Apache Kafka是一个开源流平台,使用Scala开发。是由Apache软件基金会开发的一个开源消息系统项目。 Kafka最初是由LinkedIn公司开发,并于 2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。 Kafka是一个分布式消原创 2021-12-29 11:35:15 · 175 阅读 · 0 评论 -
KafKa集群脚本
#!/bin/bashBROKERS="zhaohui01 zhaohui02 zhaohui03"# Kafka的安装目录KAFKA_HOME="/opt/kafka-2.4.1"case $1 in"start"){for broker in $BROKERS do echo "----------- 正在启动 kafka on ${broker} ----------" ssh $broker "source /etc/profile;nohup .原创 2021-12-29 11:36:01 · 867 阅读 · 1 评论 -
解决Kafka集群启动自动关闭
注意:开启时,要先开zookeeper集群,然后开启Kafka集群关闭时,要先关闭Kafka集群,确认Kafka集群完全关闭后,在关闭zookeeper集群否则,可能出现错误!问题:启动集群时,发现zookeeper集群正常启动,而kafka集群启动后会自动关闭进程解决如下:1.删除Kafka的logs,注意这个logs的目录指的是你Kafka的server.properties配置文件2.进入zookeeper客户端删除brokerid...原创 2021-12-31 14:21:26 · 3769 阅读 · 0 评论 -
Kafka(二)——Producer
1、写入方式producer采用push(推)的方式,将消息发布到broker中,每条消息都被追加到分区中,等待consumer拉取数据保存数据是通过 消费者组+主题+分区 的格式保存2、生产者ACk机制(生产数据)request.required.acks 参数为0:可能数据丢失生产者向leader发送数据,不管leader有没有接收到数据,都不会有任何返回值到producer,所以这种模式下可能造成数据丢失1:可能数据重复producer向leader发送数据,当lead原创 2022-01-02 18:02:49 · 900 阅读 · 0 评论 -
eagle管理工具——Kafka监控
1.下载安装包 EFAK (kafka-eagle.org)2.上产压缩包至集群3.解压压缩包tar -zxvf kafka-eagle-bin-2.0.9.tar.gz解压后的文件夹出现两个压缩包,接着解压tar -zxvf efak-web-2.0.9-bin.tar.gz 4.移动efak-web文件夹到 /opt/ 并改名为 eagle-2.0.95.配置环境变量export KE_PATH=/opt/eagle-2.0.9export PATH=$KE_PA原创 2022-01-02 18:13:47 · 295 阅读 · 0 评论 -
Kafka(三)——Consumer
1、消费方式consumer采用pull(拉)的模式从broker中获取数据,pull的优势是可以根据消费者自身的消费能力获取数据,缺点是,如果kafka没有数据,消费者可能会陷入循环中,一直返回空数据。因为push的模式很难适应消费者速率不同的消费者,因为消息发送速率是由broker决定的。2、分区分配策略 一个消费者组(consumer group)里有多个消费者(consumer),一个主题(topic)有多个分区(partition),所以会有分...原创 2022-01-02 18:04:39 · 924 阅读 · 0 评论 -
Kafka(五)—— 自定义拦截器
创建类实现ProducerInterceptor接口1.时间拦截器package com.zch.kafka.interceptor;import org.apache.kafka.clients.producer.ProducerInterceptor;import org.apache.kafka.clients.producer.ProducerRecord;import org.apache.kafka.clients.producer.RecordMetadata;imp原创 2022-01-02 18:09:56 · 568 阅读 · 0 评论 -
Kafka(四)—— Java API测试
1、环境准备1.创建maven项目,导入maven依赖<!-- kafka客户端 依赖 --> <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka --> <dependency> <groupId>org.apache.kafka</groupId> &...原创 2022-01-02 18:07:54 · 295 阅读 · 0 评论