![](https://img-blog.csdnimg.cn/20200531115222130.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
--Kafka
Kafka笔记
海若[MATRIX]
大数据全栈
展开
-
Kafka设置消息过期时间
2.设置方法2.1 进入配置文件目录将所有节点的配置文件均改为你需要的数值,注意不要直接同步,同步的话,节点配置会覆盖,大致集群故障。清除策略还可以按文件大小、偏移量等方式设置,但最常用的是按过期时间设置,有兴趣的可以研究一下其他策略,由于不常用,这里不做介绍。...原创 2022-06-21 14:30:16 · 1262 阅读 · 0 评论 -
Kakfa监控工具EFAK( Kafka eagle )2.1.0详细安装步骤
3.12.1 efak下载https://www.kafka-eagle.org/3.12.2 上传解压tar包tar -zxvf kafka-eagle-bin-2.1.0.tar.gzmv efak-web-2.1.0 /opt/module/efak-web-2.1.03.12.3 配置efak3.12.4 配置efak环境变量Vim /etc/profile.d/myenv.shSource /etc/profile3.12.5 配置kafka jmx3.12.6原创 2022-03-18 01:15:50 · 3442 阅读 · 0 评论 -
kafka查看topic和消息内容命令
1.查看topic指令(1)cd 进入kafka安装目录(2)执行下面指令,注意修改linux1为你的zookeeper集群对应的节点和端口(默认2181)bin/kafka-topics.sh --zookeeper linux1:2181 --list(3)实操演示2.查看topic内容指令(1)cd 进入kafka安装目录(2)执行下面指令,注意修改linux1为你的kafka集群对应的节点和端口(默认9092)bin/kafka-console-consumer.sh --..原创 2021-12-28 18:00:59 · 17358 阅读 · 0 评论 -
kafka带kerberos和sasl安全认证:命令行消费指定topic数据
1.指令/usr/hdp/kafka/bin/kafka-console-consumer.sh ...2.注意事项1.添加对应sasl安全认证的参数正常指令后边添加参数:...2.使用命令前要刷新keberos票据指令:kinit -..原创 2021-12-24 16:05:03 · 5505 阅读 · 0 评论 -
kafka、zookeeper正常启动,创建topic:报错Replication factor: 3 larger than available brokers: 0
1.问题描述新启用了一个集群,正常启动kafka和zookeeper后,jps查看所有节点kafka和zookeeper都正常工作。当使用命令行创建topic时./kafka-topics.sh --zookeeper linux1:2181 --create --replication-factor 3 --partitions 1 --topic test-topic,报了如下错误:Error while executing topic command : Replication fac..原创 2021-12-21 12:02:26 · 2171 阅读 · 0 评论 -
Flink实时读取kafka最新消息(scala)
一、运行环境:win10 flink1.10 kafka0.10 scala2.11 idea2021二、核心代码object KafkaSource { def main(args: Array[String]): Unit = { //创建执行环境 val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment //配置kafka val prop..原创 2021-08-08 16:57:18 · 754 阅读 · 0 评论 -
Kafka streams报错:Caused by: java.lang.ClassNotFoundException
1.场景在实时流处理工程里,既有spark代码,又有kafka代码,二者之间的依赖,依赖的依赖,把idea搞蒙了。依赖也正确写了,就是找不到类,清除缓存反复加载,也解决不了。Caused by: java.lang.ClassNotFoundException。。。。2.代码如下import com.tk.dwd.etltools.DateJudge;import org.apache.kafka.streams.KafkaStreams;import org.apache.kafka..原创 2021-07-06 00:18:31 · 1491 阅读 · 0 评论 -
Kafka2.6.0 win10 IDEA2021 源码编译踩坑
1.组件kafka2.6.0gradle6.9scala2.13.22.报错源码根目录执行:gradle idea报错原因,gradle7.1版本太高,于是换了一个低版本6.9,编译成功。3.导入idea开始体验源码的魅力!原创 2021-07-05 02:26:40 · 168 阅读 · 0 评论 -
Kafka创建主题并制定分区数和副本数
1.指令[root@hadoop101 kafka_2.11-2.4.0]# bin/kafka-topics.sh --zookeeper hadoop102:2181 --create --replication-factor 2 --partitions 10 --topic course_learn2.参数解读kafka-topics.sh:kafka自带主题相关操作shell脚本–zookeeper hadoop102:2181/kafka_2.4:指明zookeeper主机..原创 2020-06-27 05:00:23 · 3323 阅读 · 0 评论 -
Kafka解耦原理浅析
一、高度耦合大数据架构1.每一个数据源都会有四个不同流向2.每一个数据接收者都可能有四个不同来源3.系统高度耦合,系统复杂度4*4=164.不利于程序开发、维护、升级二、Kafka解耦之后架构1.所有source只流向Kafka2.所有target只从Kafka中取数据3.系统高度解耦,系统复杂度4*1*2=84.开发和维护升级成本显著降低三、传统架构对比Kafka架构复杂度...原创 2020-05-31 16:25:22 · 2791 阅读 · 0 评论 -
kafka:Failed to add leader for partitions(暴力解决)
问题描述:报错信息:Failed to add leader for partitions原因:kafka无法选举leader解决方案:1.修改IO并发数,删除所有topic 所在的文件夹2.删除zookeeper中节点3.重启zookeeper和kafka即可原创 2020-05-19 05:01:39 · 2595 阅读 · 0 评论 -
kafka默认分区数设置
每次创建topic都要修改分区数很麻烦,其实集群配置固定的情况下,完全可以根据集群CPU核数,设置最优的分区数。例如我的集群部署在虚拟机里,我的笔记本12核cpu,就可以设置默认分区12,以后每次创建topic都是12个分区。...原创 2020-05-16 03:14:07 · 11086 阅读 · 3 评论 -
kafka集群启动失败
原因:在修改了server.properties配置文件后,直接分发集群,导致集群节点只有一个。解决方案:重新给集群每个节点的broker id 赋值0 1 2…即可解决原创 2020-05-16 02:56:38 · 1143 阅读 · 0 评论