关注
分享
大数据老司机
专注于大数据智能运维和大数据开发领域优质创作者
展开
-
Raft Kafka on k8s 部署实战操作
部署 Raft Kafka（Kafka 3.3.1 及以上版本引入的 KRaft 模式）在 Kubernetes (k8s) 上，可以简化 Kafka 集群的管理，因为它不再依赖于 Zookeeper。原创 2024-03-24 20:16:05 · 1172 阅读 · 0 评论 -
通过 docker-compose 快速部署 EFAK 保姆级教程
EFAK（Eagle For Apache Kafka，以前称为 Kafka Eagle）是一款由国内公司开源的Kafka集群监控系统，可以用来监视kafka集群的broker状态、Topic信息、IO、内存、consumer线程、偏移量等信息，并进行可视化图表展示。独特的KQL还可以通过SQL在线查询kafka中的数据。原创 2023-12-10 20:30:00 · 767 阅读 · 1 评论 -
kafka 磁盘扩容与数据均衡实在操作讲解
Kafka 的磁盘扩容和数据均衡是与保证Kafka集群可用性和性能相关的两个重要方面。在 Kafka 中，分区数据的存储和平衡对集群的运行至关重要。原创 2023-11-19 18:30:00 · 609 阅读 · 0 评论 -
【中间件】通过 docker-compose 快速部署 Kafka 保姆级教程
Kafka是由Apache基金会开发的分布式流处理平台，采用发布-订阅模式，支持高吞吐量、低延迟的数据传输。主要用于处理实时数据管道、数据存储和数据分析等大数据应用场景。Kafka采用高效的数据压缩算法，可以在集群中存储大量的数据，并通过分区机制来实现数据的高可靠性和可扩展性。数据管道：在数据采集和分发过程中构建可扩展的流式数据管道，用于实时数据处理和分析。例如，数据收集、日志聚合、网络追踪、用户活动跟踪等。数据存储。原创 2023-05-21 17:53:23 · 2085 阅读 · 0 评论 -
【云原生】zookeeper + kafka on k8s 环境部署
Apache ZooKeeper 是一个集中式服务，用于维护配置信息、命名、提供分布式同步和提供组服务，ZooKeeper 致力于开发和维护一个开源服务器，以实现高度可靠的分布式协调，其实也可以认为就是一个分布式数据库，只是结构比较特殊，是树状结构。原创 2022-09-18 22:48:50 · 3389 阅读 · 0 评论 -
大数据Hadoop之——Kafka API介绍与实战操作
Kafka包括五个核心api：Java 客户端接口文档：https://kafka.apache.org/32/javadoc/index.html?org/apache/kafka/clients/producer/KafkaProducer.html非 Java 客户端接口文档：https://cwiki.apache.org/confluence/display/KAFKA/Clients使用java kafka需引入依赖：slf4j-api、slf4j-log4j12、log4j三者之间的关系如原创 2022-06-25 07:30:00 · 842 阅读 · 0 评论 -
大数据Hadoop之——Kafka Streams原理介绍与简单应用示例
Kafka Streams是一套**客户端类库**，它建立在重要的**流处理**概念之上，它可以对存储在Kafka内的数据进行流式处理和分析，简称“流式计算”。原创 2022-06-19 07:30:00 · 852 阅读 · 0 评论 -
大数据Hadoop之——EFAK安全认证实现（kafka+zookeeper）
前面已经很详细的讲了`kafka`和`zookeeper`的安全机制和实现，如果它两配置了安全机制认证，EFAK作为监控kafka和zookeeper的图像化软件，必然也离不开对kafka和zookeeper安全认证的配置。原创 2022-06-13 07:30:00 · 1107 阅读 · 0 评论 -
大数据Hadoop之——Kafka安全机制（Kafka SSL认证实现）
Kafka0.9.0开始引入丰富的安全认证机制，实现基础安全用户认证，将kafka上云或进行多租户管理的必要步骤安全，目前kafka支持`SASL`、`SSL`、`Delegation Token`这三种认证机制。原创 2022-06-12 07:30:00 · 2609 阅读 · 1 评论 -
大数据Hadoop之——Zookeeper鉴权认证（Kerberos认证+账号密码认证）
Zookeeper概述与安装请参考我之前的文章：分布式开源协调服务——ZookeeperZookeeper的安装方式有两种，两种方式都会讲，其实大致配置都是一样的，只是少部分配置有一丢丢的区别。kafka的鉴权认证可以参考我之前的文章：大数据Hadoop之——Kerberos实战（Kafka Kerberos认证，用户密码认证和CDH Kerberos认证）Kerberos安装可以参考我之前的文章：Kerberos认证原理与环境部署3）独立zookeeper配置1、配置zoo.cfg2、配置jaas原创 2022-06-11 07:30:00 · 3748 阅读 · 3 评论 -
大数据Hadoop之——Kafka鉴权认证（Kafka kerberos认证+kafka账号密码认证+CDH Kerberos认证）
Kerberos概述与安装可以参考我之前的文章：Kerberos认证原理与环境部署Kafka安装可以参考我以前的文章：大数据Hadoop之——Kafka 图形化工具 EFAK（EFAK环境部署）分布式开源协调服务——ZookeeperKafka Kerberos认证官方文档：https://kafka.apache.org/31/documentation.html#security_saslKafka 是服务，所以这里使用的是服务principal，不清楚的小伙伴可以看我上面的文章。格式如下：1）创原创 2022-06-06 07:30:00 · 3407 阅读 · 1 评论 -
大数据Hadoop之——EFAK和Confluent KSQL简单使用（kafka listeners 和 advertised.listeners）
文章目录一、EFAK概述和安装二、listeners和advertised.listeners配置详解三、KSQL使用四、Mock使用五、Manager使用六、Hub七、指标监控Metrics八、告警管理一、EFAK概述和安装关于EFAK的概述和安装，可以参考我这篇文章：大数据Hadoop之——Kafka 图形化工具 EFAK（EFAK环境部署）在讲EFAK使用之前，这里先讲一下listeners 和 advertised.listeners的用法，其实企业里还是会配置着两个参数的。二、listen原创 2022-05-23 07:30:00 · 1310 阅读 · 0 评论 -
大数据Hadoop之——Kafka 图形化工具 EFAK（EFAK环境部署）
文章目录一、概述二、EFAK架构二、EFAK数据采集原理三、安装Kafka1）Kafka下载2）配置环境变量3）创建logs目录4）修改kafka配置5）修改zookeeper配置6）将kafka目录推送到其它节点7）启动服务四、安装EFAK1）下载EFAK2）创建数据库2）设置环境变量3）配置4）调整启动参数6）修改 works配置7）将EFAK推送其它节点5）启动一、概述EFAK（Eagle For Apache Kafka，以前称为 Kafka Eagle）是一款由国内公司开源的Kafka集群监原创 2022-05-16 07:30:00 · 3295 阅读 · 2 评论 -
Kafka原理介绍+安装+基本操作
文章目录一、Kafka概述1）Kafka的特性2）应用场景二、Kafka架构简介写入流程三、Kakfa的设计思想四、Zookeeper在Kafka中的作用1）记录和维护broker状态2）控制器（leader ）选举3）限额权限4）记录 ISR（已同步的副本）5）node 和 topic 注册6）topic 配置五、Leader选举1）控制器（Broker）选举Leader机制2）分区副本选举Leader机制3）消费组（consumer group）选举机制六、kubernetes(k8s) helm3安装原创 2021-12-04 16:36:18 · 2395 阅读 · 4 评论