![](https://img-blog.csdnimg.cn/393fd6d82fc244049e92dd10a1230209.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Kafka
文章平均质量分 74
实验是检验真理的唯一标准
CN-FuWei
云原生领域优质创作者,热爱开源、善于折腾,对新技术充满好奇心。
展开
-
【云原生】详解 Zookeeper + Kafka on K8S 环境部署
是一个集中式服务,用于维护配置信息、命名、提供分布式同步和提供组服务,ZooKeeper 致力于开发和维护一个开源服务器,以实现高度可靠的,其实也可以认为就是一个,只是结构比较特殊,是树状结构。Kafka。原创 2022-09-19 14:42:24 · 1446 阅读 · 0 评论 -
在 Kubernetes 上运行高可用的 Kafka 集群
Apache Kafka 是目前最流行的分布式消息发布订阅系统,虽然 Kafka 非常强大,但它同样复杂,需要一个高可用的强大平台来运行。在微服务盛行,大多数公司都采用分布式计算的今天,将 Kafka 作为核心的消息系统使用还是非常有优势的。如果你在 Kubernetes 集群中运行你的微服务,那么在 Kubernetes 中运行 Kafka 集群也是很有意义的,这样可以利用其内置的弹性和高可用,我们可以使用内置的 Kubernetes 服务发现轻松地与集群内的 Kafka Pods 进行交互。...原创 2022-08-02 17:13:13 · 492 阅读 · 0 评论 -
如何删除kafka消费组
当一个topic写入到kafka,而我们接入了多了个消费组,这种情况下,其中某个消费组停止消费,却会看到对应消费组的消息堆积依然在叠加,这是个奇怪的问题,暂时不知道什么原因,不过可以通过如下方式,将这个消费组删除,如果这些消息内容不是很重要的话。此时来到kafka集群,进行一波查看:cd /usr/local/kafka/bin查看对应消费组:./kafka-consumer-groups.sh --bootstrap-server 10.3.9.105:9092 --list|grep vect原创 2022-04-26 15:22:57 · 5839 阅读 · 1 评论 -
kafka历史数据清理策略以及配置
1.关于Kafka的日志日志的英语是“log”,但Kafka的数据文件也被称为log,所以很多时候会造成一定的歧义。在Kafka中,日志分为两种:数据日志操作日志数据日志是指Kafka的topic中存储的数据,这种日志的路径是在$KAFKA_HOME/config/server.properties文件中配置,配置项为log.dirs。如果此项没有被配置,默认会使用配置项 log.dir(请仔细观察,两个配置项最后差了一个s)。log.dir的默认路径为/tmp/kafka-logs,大家知道,原创 2022-04-26 15:14:12 · 5832 阅读 · 0 评论 -
kafka-集群监控
集群监控有不少方案,这里介绍一种国人研发的,经常看到有人推荐的一个方案,Kafka Eagle1,资料官网:https://www.kafka-eagle.org/index.htmlGithub:https://github.com/smartloli/kafka-eagle/官方文档:https://docs.kafka-eagle.org/下载地址:http://download.kafka-eagle.org/2,部署当我们把 kafka 集群部署完成之后,就可以部署Kafka E原创 2022-04-26 15:03:42 · 354 阅读 · 0 评论 -
kafka_2.11-集群部署
1,准备工作1.1,主机准备准备三台主机,都是 CentOS-7,IP 如下:192.168.106.7192.168.106.8192.168.106.9为了方便后续操作,先配置一下主机免密码登陆。[root@localhost ~]$ssh-keygen[root@localhost ~]$ssh-copy-id root@192.168.106.7[root@localhost ~]$ssh-copy-id root@192.168.106.8[root@localhost ~]原创 2022-04-26 14:41:16 · 2011 阅读 · 0 评论 -
kafka_2.11-单机部署
1,简介Kafka 是一种高吞吐的分布式发布订阅消息系统,能够替代传统的消息队列用于解耦合数据处理,缓存未处理消息等,同时具有更高的吞吐率,支持分区、多副本、冗余,因此被广泛用于大规模消息数据处理应用。Kafka 支持 Java 及多种其它语言客户端,可与 Hadoop、Storm、Spark 等其它大数据工具结合使用。2,下载 kafkawget https://mirrors.cnnic.cn/apache/kafka/0.11.0.2/kafka_2.11-0.11.0.2.tgz3,安装原创 2022-04-26 14:27:38 · 396 阅读 · 0 评论