kafka
一代码动乾坤
目前主攻大数据领域的专家。熟悉DSP,DMP等常见在线广告体系、视频新媒体、下线实体数字化、企业级数据管理、数据治理、AI等领域有深耕。最终目标成为一名全栈代码扫地僧。望与大家共勉,一起将快乐代码做成终生事业!
展开
-
WARN [Producer clientId=console-producer] Error while fetching metadata with correlation id
kafka 下面报错WARN [Producer clientId=console-producer] Error while fetching metadata with correlation id原因: 1.很有可能是网络防火墙的问题,关闭或者配置相关ip通行(节点本身也要放行) 2.配置server.properties 新增或者修改 advertised.listeners=PLAINTEXT://你的ip:9092 ...原创 2020-08-21 15:28:22 · 7309 阅读 · 0 评论 -
kafkaeagle2019(1.4.0安装)
目的:为了监控和管理kafkaps:以下测试以单节点kafka测试(监控和kafka是分离的,所以没有任何影响,记得改配置)安装: 1.下载:http://download.kafka-eagle.org/2解压:tar -zxvfkafka-eagle-bin-1.4.0.tar.gzcd kafka-eagle-bin-1.4.0解压到上层目录ta...原创 2019-11-19 14:17:45 · 488 阅读 · 0 评论 -
KafkaProducer-源码学习
Kafka-Clients 源码学习:KafkaProducer 篇zwangbo阅读数:527 2019 年 10 月 22 日 13:55前言本文基于 Kafka-clients:1.1.0 版本。KafkaProducer 的发送流程调用流程图此图描述的是用户启动一个线程使用 KafkaProducer 进行消息发送的大概流程。除了用户主线程,KafkaProd...转载 2019-10-23 08:59:25 · 307 阅读 · 0 评论 -
kafka消费者参数
kafka消费者配置参数版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_31617409/article/details/82317267kafka-consumer配置参数(大部分默认值均可,但是下面这些参数对性能以及可用性影响较大) 参数名称 参数含义 fetch.min.bytes 消费者从服务器获取记录的最...转载 2019-03-07 13:52:20 · 379 阅读 · 0 评论 -
Kafka KSQL
Kafka KSQL实战背景 kafka早期作为一个日志消息系统,很受运维欢迎的,配合ELK玩起来很happy,在kafka慢慢的转向流式平台的过程中,开发也慢慢介入了,一些业务系统也开始和kafka对接起来了,也还是很受大家欢迎的,由于业务需要,一部分小白也就免不了接触kafka了,这些小白总是会安奈不住好奇心,要精确的查看kafka中的某一条数据,作为服务提供方,我也很方...翻译 2019-03-22 18:30:33 · 2073 阅读 · 3 评论 -
spark streaming kafka OffsetOutOfRangeException
spark streaming kafka OffsetOutOfRangeException 异常分析与解决自从把spark 从1.3升级到1.6之后,kafka Streaming相关问题频出。最近又遇到了一个。job中使用Kafka DirectStream 读取topic中数据,然后做处理。其中有个测试job,停止了几天,再次启动时爆出了kafka.common.OffsetOutO...转载 2019-06-18 14:38:44 · 397 阅读 · 0 评论