![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 90
冬天里的懒猫
这个作者很懒,什么都没留下…
展开
-
kafka-manager(cmak)安装及使用
1.软件下载kafka-manager 工具目前改名为cmak,下载地址为:https://github.com/yahoo/CMAK/releases/tag/3.0.0.5现在下载最新版本的cmak文件:cmak-3.0.0.5.zip将该文件下载并放置到/opt/software目录。此外,根据官网描述,要求jdk版本为jdk11。jdk-11.0.13_linux-x64_bin.tar.gz下载路径https://www.oracle.com/java/technologies/do原创 2021-11-04 20:10:42 · 3327 阅读 · 0 评论 -
kafka3.0集群搭建过程
1.环境说明服务器资源规划如下表:IPhostname部署资源192.168.162.201m162p201zookeeper,kafka192.168.162.202m162p202zookeeper,kafka192.168.162.203m162p203zookeeper,kafka操作系统版本(三个节点均相同):[root@m162p201 software]# lsb_release -aLSB Version: :core-4.1原创 2021-11-03 19:53:13 · 3083 阅读 · 3 评论 -
Apache Kafka,Apache Pulsar和RabbitMQ的基准测试:哪一个是最快的MQ?
ApacheKafka是最流行的事件流处理系统。在这个领域中有很多同类的系统可以拿来比较。但是最关键的一点就是性能。Kafka以速度著称,但是,它现在能有多快,以及与其他系统相比又如何呢?我们决定在最新的云硬件上测试kafka的性能。为了进行比较,我们选择了传统的消息broker RabbitMQ和基于Apache Bookeeper的消息broker Apache Pulsar。我们要关注以下几点,1.系统吞吐量。2.系统延迟。因为他们是生产中事件流系统的主要性能指标,特别是吞吐量测试测量每个系统在利翻译 2020-10-26 15:34:59 · 651 阅读 · 1 评论 -
11 Confluent_Kafka权威指南 第十一章:流计算
文章目录CHAPTER 10 Stream Processing 流式计算What Is Stream Processing? 流处理是什么Stream-Processing Concepts 流处理的概念Time 时间Mind the Time Zone 注意时区State 状态Stream-Table DualityTime Windows 时间窗口Stream-Processing Design Patterns 流处理设计模式Single-Event Processing 单事件处理Processi翻译 2020-08-10 11:19:02 · 717 阅读 · 1 评论 -
10 Confluent_Kafka权威指南 第十章:监控kafka
文章目录CHAPTER 10 Monitoring Kafka 监控kafkaMetric Basics 度量基础Where Are the Metrics? 度量标准在哪?Internal or External Measurements 内部或者外部度量Application Health Checks 应用健康检查Metric Coverage 指标覆盖范围Kafka Broker Metrics kafka broker监控指标Under-Replicated Partitions 未复制分区C翻译 2020-07-23 18:00:24 · 930 阅读 · 0 评论 -
09 Confluent_Kafka权威指南 第九章:管理kafka集群
文章目录CHAPTER 9 Administering Kafka 管理kafkaTopic Operations 主题操作Creating a New Topic 创建新的topicSpecifying Topic Configurations 指定Topic的配置Adding Partitions 添加分区删除topicListing All Topics in a Cluster 列出集群所有的topicDescribing Topic Details 描述topic的细节Consumer Group翻译 2020-07-18 23:19:04 · 615 阅读 · 0 评论 -
08 Confluent_Kafka权威指南 第八章:跨集群数据镜像
文章目录CHAPTER 8 Cross-Cluster Data Mirror 跨集权数据镜像Use Cases of Cross-Cluster Mirroring 跨集群镜像用例Multicluster Architectures 多集群架构Some Realities of Cross-Datacenter Communication 一些跨数据中心的实现Hub-and-Spokes Architecture 中心辐射架构Active-Active Architecture 双活架构Active-St翻译 2020-07-14 19:42:15 · 632 阅读 · 0 评论 -
07 Confluent_Kafka权威指南 第七章: 构建数据管道
文章目录CHAPTER 7 Building Data Pipelines 构建数据管道将数据集成到上下文Considerations When Building Data Pipelines 构建数据管道时需要考虑的内容Timeliness 时效性Reliability 可靠性High and Varying Throughput 高而多变的吞吐量Data Formats 数据格式Transformations 转换Security 安全性Failure Handling 故障处理Coupling and翻译 2020-07-06 19:21:27 · 752 阅读 · 0 评论 -
06 Confluent_Kafka权威指南 第六章:数据传输的可靠性
文章目录CHAPTER 6 Reliable Data Delivery 数据传输可靠性Reliability Guarantees 可靠性保证Replication 复制Out-of-Sync Replicas不同步的副本Broker Configuration broker配置Replication Factor 副本因子Unclean Leader Election 不干净的leader选举Minimum In-Sync Replicas 最低同步副本Using Producers in a Reli翻译 2020-07-04 16:18:57 · 384 阅读 · 0 评论 -
05 Confluent_Kafka权威指南 第五章: kafka内部实现原理
CHAPTER 5 Kafka Internals kafka内部原理为了在生产环境中运行kafka或者编写使用它的应用程序,并不一定要理解kafka的内部原理。然而,理解kafka的工作原理,有助于故障排查,理解kafka的工作行为。具体代码实现细节本书不做深入描述,但是,kafka有关的从业人员,必须关注如下三个内容:kafka的副本机制是如何工作的kafka如何处理来自生产者和消费者的请求kafka的数据存储,如文件格式和索引深入的理解这些原理将对kafka的性能调优非常有帮助。这将有助于翻译 2020-07-03 15:11:49 · 500 阅读 · 0 评论 -
04 Confluent_Kafka权威指南 第四章: kafka消费者:从kafka读取数据
文章目录Kafka Consumers: Reading Data from Kafka kafka消费者:从kafka读取数据Kafka Consumer Concepts 消费者概念Consumers and Consumer Groups 消费者和消费者组Consumer Groups and Partition Rebalance 消费者组和分区重平衡Changes to Heartbeat Behavior in Recent Kafka Versions 最新版本对kafka心跳行为的改变How翻译 2020-07-01 17:11:06 · 2734 阅读 · 0 评论 -
03 Confluent_Kafka权威指南 第三章: Kafka 生产者:向kafka写消息
CHAPTER 3 Kafka Producers: Writing Messages to Kafka无论你将kafka当作一个队列、消息总线或者数据存储平台,你都需要通过一个生产者向kafka写入数据,通过一个消费者从kafka读取数据。或者开发一个同时具备生产者和消费者功能的程序来使用kafka。例如,在信用卡交易处理系统中,有一个客户端的应用程序(可能是一个在线商店)在支付事物发生之后将每个事物信息发送到kafka。另外一个应用程序负责根据规则引擎去检查该事物,确定该事物是否被批准还是被拒绝。翻译 2020-06-29 15:39:17 · 1053 阅读 · 0 评论 -
在springboot中对kafka进行读写操作
springboot对kafka的client很好的实现了集成,使用非常方便,本文也实现了一个在springboot中实现操作kafka的demo。#1.POM配置只需要在dependencies中增加 spring-kafka的配置即可。完整效果如下:<parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</ar原创 2020-06-28 12:52:35 · 1668 阅读 · 0 评论 -
Kafka集群搭建过程(kafka2.5+eagle)
###1.环境准备####1.1 硬件环境为了安装kafka最近环境,向运维申请了3台测试虚拟机,后续很多学习过程都将在此3台服务器上进行,内存为8G,虚拟磁盘 500G. IP如下:IP HOST192.168.162.201 m162p201192.168.162.202 m162p202192.168.162.203 m162p203操作系统版本如下:[root@m162p201 soft原创 2020-06-28 12:50:08 · 902 阅读 · 0 评论 -
kafka生产者和消费者的基本操作
在学习kafka集群之前,先来学习下单节点kafka的一些基本操作,包括安装及一些基本命令,以便后续集群环境的学习。#1.单节点安装kafka必须依赖于zookeeper,假定当前zookeeper集群已搭建完成(如不熟悉zookeeper集群如何搭建,请参考http://www.jianshu.com/p/0e813f6a6049)。环境依赖:1.已安装完毕的zookeeper集群:192.168.162.52:2181192.168.162.235:2181192.168.162.239:原创 2020-06-28 12:46:52 · 1634 阅读 · 3 评论 -
02 Confluent_Kafka权威指南 第二章:安装kafka
CHAPTER 2 Installing Kafka kafka的安装配置本章节描述了如何安装apache kafka的broker,以及如何设置apache zookeeper,zookeeper被用于存储broker的元数据。本章节还将介绍kafka的基本配置,以及broker运行的硬件标准。最后,我们将介绍多实例集群的安装方法,以及在生产环节中使用kafka时需要注意的一些问题。First Things First在安装和使用kafka之前,需要准备如下事项:Choosing an Opera翻译 2020-06-28 12:43:50 · 827 阅读 · 0 评论 -
01 Confluent_Kafka权威指南 第一章:初识kafka
CHAPTER 1 Meet Kafka 初识kafka每个企业都离不开数据,我们接收数据、分析数据、加工数据,并将数据输出。每个应用程序都在创造数据,无论是日志消息、指标、用户活动、输出消息或者其他。每个字节的数据背后都有一些潜在线索,一个重要的线索会带来下一步的商机。为了更好的得到这些信息,我们需要将数据从创建的地方获取出来加以分析。我们每天都能在亚马逊上看到这样的场景:我们点击了感兴趣的项目,一小会之后就会将建议信息推荐给我们。我们越是能快速的做到这一点,我们的组织就会越敏捷,反应越是灵敏。我们翻译 2020-06-28 12:39:12 · 801 阅读 · 1 评论 -
00 Confluent_Kafka权威指南-前言部分
Foreword 序对kafka来说,这是一个激动人心的时刻。kafka被成千上万个组织使用,包含了三分之一的世界500强公司。它是增长最快的开源项目之一,围绕它产生了一个巨大的生态系统。它是管理和处理流式数据的核心。那么kafka从何而来?我们为什么要建造它?它到底是什么?Kafka最初是我们在Linkedin开发的一个内部基础性系统。我们的初衷很简单:有很多数据库和系统能够存储数据,但是缺少对连续不断的流式数据的处理。在创建kafka之前,我们对各种现有的技术进行选择,从消息传递系统到日志聚合和.翻译 2020-06-28 12:33:52 · 260 阅读 · 0 评论