
数据开发--kafka
东华果汁哥
大家好!我叫赖德发,欢迎您来到我的博客。
展开
-
【EFAK 进程监控】玩转linux进程监控
EFAK 进程监控,自启动。cd /opt/script/touch efak_restart.sh#! /bin/bashcmd1=`jps |grep KafkaEagle`if [ -z "$cmd1" ];then cd /opt/kafka-eagle-bin-2.1.0/efak-web-2.1.0/bin/ sh ke.sh startficrontab -e*/1 * * * * /usr/bin/sh /opt/script/efak_restart.sh配原创 2022-05-20 17:09:32 · 371 阅读 · 0 评论 -
【大数据kafka集群运维】一起来了解EFAK - Kafka可视化管理工具
EFAK(Eagle For Apache Kafka,以前称为 Kafka Eagle)EFAK是开源可视化和管理软件。可以查询、可视化、监控kafka集群,是将 kafka 的集群数据转换为图形可视化的工具。Kafka-Eagle 是一款完全开源的对 Kafka 集群及应用做全面监控的系统,其核心由以下几个部分组成:数据采集:核心数据来源 JMX 和 API 获取;数据存储:支持 MySQL 和 Sqlite 存储;数据展示:消费者应用、图表趋势监控(包括集群状态、消费生产速率、消费积压等)、开原创 2022-05-13 21:06:52 · 1718 阅读 · 0 评论 -
【python kafka-python】报错如下:KafkaTimeoutError: Failed to update metadata after 60.0 secs.
python-kafka KafkaTimeoutError连接不上kafka问题分析:当代码解析时,会把kafka的地址解析成在zookeeper中设置的kafka名称。所以,需要配置对应名称到相应ip的etc/hosts映射。解决办法:vim /etc/hosts 加入别名和ip 映射20.0.28.14 kafka120.0.28.15 kafka220.0.28.16 kafka3wq! 保持即可。然后使用kafka1 别名 作为kafka hostkfk_host="kaf.原创 2022-04-27 13:50:46 · 5868 阅读 · 0 评论 -
【高并发架构| 消息队列】你必须了解的高阶功法MQ第二讲
第一讲请戳>高并发架构| 消息队列】你必须了解的高阶功法MQ第一讲下面我们进行第二讲,如何保证消息队列的高可用?开场白:如果有人问到你 MQ 的知识,高可用是必问的。上一讲提到,MQ 会导致系统可用性降低。所以只要你用了 MQ,接下来问的一些要点肯定就是围绕着 MQ 的那些缺点怎么来解决了。要是你傻乎乎的就干用了一个 MQ,各种问题从来没考虑过,那你就杯具了,面试官对你的感觉就是,只会简单使用一些技术,没任何思考,马上对你的印象就不太好了。这样的同学招进来要是做个 20k 薪资以内的普通小弟还凑原创 2021-06-16 23:12:40 · 131 阅读 · 1 评论 -
【高并发架构| 消息队列】你必须了解的高阶功法MQ第一讲
开场白:做过后端开发或者算法的同学,想必都或多或少接触多消息队列,今天果汁哥来扒一扒。NO1:消息队列到底是什么东西,你们系统里为什么要用消息队列这个东西?很多人用过redis,kafka等等之类的消息队列,但是其实他并不知道自己为什么要用这个东西。其实说白了,就是为了用而用,或者是别人设计的架构,他从头到尾都没思考过。没有对自己的架构问过为什么的人,一定是平时没有思考的人,没有思考的灵魂,高阶功法如何进阶修炼呢。所以要想修炼好武功,必须沉下心思来思考和修炼哦。NO2:你既然用了消息队列这个东西,你原创 2021-06-15 23:37:52 · 181 阅读 · 0 评论 -
【大数据 kafka】如何在Windows上安装Kafka
在本文中,我们将学习如何在Windows上安装Kafka。有两种方法可以在Windows上安装Kafka。一种方法是,我们可以在Windows上安装docker,然后在该docker中运行Kafka容器。我们将在Windows上安装独立版本的Kafka。首先,我们需要JRE(Java运行时环境)来运行Kafka服务器。您可以检查如何在Windows上安装Java。如果您已经安装了JRE,则可以继续。1、Zookeeper安装:我们需要运行一个Zookeeper服务器来运行Kafka。以下是在Windo原创 2021-03-01 10:45:46 · 396 阅读 · 1 评论