kafka
文章平均质量分 80
Kafka
hellowordx007
选择比努力更重要!
展开
-
Kafka_06_CMAR 管理Kafka
之前使用 Kafka Manager 在官网已不在维护,而使用 cmak,Github地址: ,这将CMAK 交付到k8s集群中。交付K8s容器资源配置清单应用资源清单配置DNS 解析此时,在浏览器访问 ,如果正常出现授权的页面,部署成功,根据页面配置创建Cluster后,如下图...原创 2022-06-10 18:58:52 · 247 阅读 · 0 评论 -
Kafka_04_JAVA_API_示例
生产者代码:消费者代码:测试结果 :如下图所示:启动消费者–>启动生产者 --> 生产者不断生产消息,消费者不断消费消息 --> 查看 test3 topic 只有一个 partition 一个副本 --> 模拟 broker 宕机 --> 查看生产者继续生产消息 --> 查看消费者未能消费消息 --> 模拟恢复宕机的 broker --> 查看生产者正常生产消息 --> 查看消费者是从 68 开始消费的,中间的消息丢失。分别修改192.168.64.129,192.168.64.130 的${KA原创 2022-06-10 18:58:18 · 140 阅读 · 0 评论 -
Kafka_05_spring_cloud_stream_kafka 使用
环境:zookeeper集群:kafka集群:spring-boot 版本:2.1.0.RELEASEspring-cloud-stream-kafka 版本:2.1.0.RC1生产者启动类:生产者消息发送:见 类1.2、消费者使用 hk-pms-web项目,application.yml 配置:消费者启动类:消费者接收消息:1.3、分别启动生产者、消费者可以在 kafka-manager看到有创建的 topic(test-destination)可以使用原创 2022-06-10 18:56:31 · 596 阅读 · 0 评论 -
Kafka_03 命令介绍
Kafka在雅虎内部被很多团队使用,媒体团队用它做实时分析流水线,可以处理高达20Gbps(压缩数据)的峰值带宽。为了简化开发者和服务工程师维护Kafka集群的工作,构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时,这个管理工具也是一个非常好的可以快速浏览这个集群的工具。该软件是用Scala语言编写原创 2022-06-10 18:55:28 · 131 阅读 · 0 评论 -
Kafka_02 Manager 安装与使用
Kafka在雅虎内部被很多团队使用,媒体团队用它做实时分析流水线,可以处理高达20Gbps(压缩数据)的峰值带宽。为了简化开发者和服务工程师维护Kafka集群的工作,构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时,这个管理工具也是一个非常好的可以快速浏览这个集群的工具。该软件是用Scala语言编写原创 2022-06-10 18:54:23 · 196 阅读 · 0 评论 -
Kafka_01介绍与安装
1、Kafka每个主题的多个分区日志分布式地存储在Kafka集群上,同时为了故障容错,每个分区都会以副本的方式复制到多个消息代理节点上。其中一个节点会作为主副本(Leader),其他节点作为备份副本(Follower,也叫作从副本)。主副本会负责所有的客户端读写操作,备份副本仅仅从主副本同步数据。当主副本出现故障时,备份副本中的一个副本会被选择为新的主副本。因为每个分区的副本中只有主副本接受读写,所以每个服务器端都会作为某些分区的主副本,以及另外一些分区的备份副本,这样Kafka集群的所有服务端整体上对客户原创 2022-06-10 18:53:14 · 367 阅读 · 0 评论