kafka
文章平均质量分 94
大数据老司机
专注于大数据智能运维和大数据开发领域优质创作者
展开
-
Raft Kafka on k8s 部署实战操作
部署 Raft Kafka(Kafka 3.3.1 及以上版本引入的 KRaft 模式)在 Kubernetes (k8s) 上,可以简化 Kafka 集群的管理,因为它不再依赖于 Zookeeper。原创 2024-03-24 20:16:05 · 1357 阅读 · 0 评论 -
通过 docker-compose 快速部署 EFAK 保姆级教程
EFAK(Eagle For Apache Kafka,以前称为 Kafka Eagle)是一款由国内公司开源的Kafka集群监控系统,可以用来监视kafka集群的broker状态、Topic信息、IO、内存、consumer线程、偏移量等信息,并进行可视化图表展示。独特的KQL还可以通过SQL在线查询kafka中的数据。原创 2023-12-10 20:30:00 · 910 阅读 · 1 评论 -
kafka 磁盘扩容与数据均衡实在操作讲解
Kafka 的磁盘扩容和数据均衡是与保证Kafka集群可用性和性能相关的两个重要方面。在 Kafka 中,分区数据的存储和平衡对集群的运行至关重要。原创 2023-11-19 18:30:00 · 739 阅读 · 0 评论 -
【中间件】通过 docker-compose 快速部署 Kafka 保姆级教程
Kafka是由Apache基金会开发的分布式流处理平台,采用发布-订阅模式,支持高吞吐量、低延迟的数据传输。主要用于处理实时数据管道、数据存储和数据分析等大数据应用场景。Kafka采用高效的数据压缩算法,可以在集群中存储大量的数据,并通过分区机制来实现数据的高可靠性和可扩展性。数据管道:在数据采集和分发过程中构建可扩展的流式数据管道,用于实时数据处理和分析。例如,数据收集、日志聚合、网络追踪、用户活动跟踪等。数据存储。原创 2023-05-21 17:53:23 · 2222 阅读 · 0 评论 -
【云原生】zookeeper + kafka on k8s 环境部署
Apache ZooKeeper 是一个集中式服务,用于维护配置信息、命名、提供分布式同步和提供组服务,ZooKeeper 致力于开发和维护一个开源服务器,以实现高度可靠的分布式协调,其实也可以认为就是一个分布式数据库,只是结构比较特殊,是树状结构。原创 2022-09-18 22:48:50 · 3413 阅读 · 0 评论 -
大数据Hadoop之——Kafka API介绍与实战操作
Kafka包括五个核心api:Java 客户端接口文档:https://kafka.apache.org/32/javadoc/index.html?org/apache/kafka/clients/producer/KafkaProducer.html非 Java 客户端接口文档:https://cwiki.apache.org/confluence/display/KAFKA/Clients使用java kafka需引入依赖:slf4j-api、slf4j-log4j12、log4j三者之间的关系如原创 2022-06-25 07:30:00 · 865 阅读 · 0 评论 -
大数据Hadoop之——Kafka Streams原理介绍与简单应用示例
Kafka Streams是一套**客户端类库**,它建立在重要的**流处理**概念之上,它可以对存储在Kafka内的数据进行流式处理和分析,简称“流式计算”。原创 2022-06-19 07:30:00 · 896 阅读 · 0 评论 -
大数据Hadoop之——EFAK安全认证实现(kafka+zookeeper)
前面已经很详细的讲了`kafka`和`zookeeper`的安全机制和实现,如果它两配置了安全机制认证,EFAK作为监控kafka和zookeeper的图像化软件,必然也离不开对kafka和zookeeper安全认证的配置。原创 2022-06-13 07:30:00 · 1141 阅读 · 0 评论 -
大数据Hadoop之——Kafka安全机制(Kafka SSL认证实现)
Kafka0.9.0开始引入丰富的安全认证机制,实现基础安全用户认证,将kafka上云或进行多租户管理的必要步骤安全,目前kafka支持`SASL`、`SSL`、`Delegation Token`这三种认证机制。原创 2022-06-12 07:30:00 · 2639 阅读 · 1 评论 -
大数据Hadoop之——Zookeeper鉴权认证(Kerberos认证+账号密码认证)
Zookeeper概述与安装请参考我之前的文章:分布式开源协调服务——ZookeeperZookeeper的安装方式有两种,两种方式都会讲,其实大致配置都是一样的,只是少部分配置有一丢丢的区别。kafka的鉴权认证可以参考我之前的文章:大数据Hadoop之——Kerberos实战(Kafka Kerberos认证,用户密码认证和CDH Kerberos认证)Kerberos安装可以参考我之前的文章:Kerberos认证原理与环境部署3)独立zookeeper配置1、配置zoo.cfg2、配置jaas原创 2022-06-11 07:30:00 · 3805 阅读 · 3 评论 -
大数据Hadoop之——Kafka鉴权认证(Kafka kerberos认证+kafka账号密码认证+CDH Kerberos认证)
Kerberos概述与安装可以参考我之前的文章:Kerberos认证原理与环境部署Kafka安装可以参考我以前的文章:大数据Hadoop之——Kafka 图形化工具 EFAK(EFAK环境部署)分布式开源协调服务——ZookeeperKafka Kerberos认证官方文档:https://kafka.apache.org/31/documentation.html#security_saslKafka 是服务,所以这里使用的是服务principal,不清楚的小伙伴可以看我上面的文章。格式如下:1)创原创 2022-06-06 07:30:00 · 3445 阅读 · 1 评论 -
大数据Hadoop之——EFAK和Confluent KSQL简单使用(kafka listeners 和 advertised.listeners)
文章目录一、EFAK概述和安装二、listeners和advertised.listeners配置详解三、KSQL使用四、Mock使用五、Manager使用六、Hub七、指标监控Metrics八、告警管理一、EFAK概述和安装关于EFAK的概述和安装,可以参考我这篇文章:大数据Hadoop之——Kafka 图形化工具 EFAK(EFAK环境部署)在讲EFAK使用之前,这里先讲一下listeners 和 advertised.listeners的用法,其实企业里还是会配置着两个参数的。二、listen原创 2022-05-23 07:30:00 · 1344 阅读 · 0 评论 -
大数据Hadoop之——Kafka 图形化工具 EFAK(EFAK环境部署)
文章目录一、概述二、EFAK架构二、EFAK数据采集原理三、安装Kafka1)Kafka下载2)配置环境变量3)创建logs目录4)修改kafka配置5)修改zookeeper配置6)将kafka目录推送到其它节点7)启动服务四、安装EFAK1)下载EFAK2)创建数据库2)设置环境变量3)配置4)调整启动参数6)修改 works配置7)将EFAK推送其它节点5)启动一、概述EFAK(Eagle For Apache Kafka,以前称为 Kafka Eagle)是一款由国内公司开源的Kafka集群监原创 2022-05-16 07:30:00 · 3352 阅读 · 2 评论 -
Kafka原理介绍+安装+基本操作
文章目录一、Kafka概述1)Kafka的特性2)应用场景二、Kafka架构简介写入流程三、Kakfa的设计思想四、Zookeeper在Kafka中的作用1)记录和维护broker状态2)控制器(leader )选举3)限额权限4)记录 ISR(已同步的副本)5)node 和 topic 注册6)topic 配置五、Leader选举1)控制器(Broker)选举Leader机制2)分区副本选举Leader机制3)消费组(consumer group)选举机制六、kubernetes(k8s) helm3安装原创 2021-12-04 16:36:18 · 2428 阅读 · 4 评论