Kafka
文章平均质量分 91
尤小硕
这个作者很懒,什么都没留下…
展开
-
深入Kafka服务端
Kafka服务端设计介绍协议设计Kafka自定义了一组基于TCP的二进制协议,只要遵守这组协议的格式,就可以向Kafka发送消息,也可以从Kafka中拉取消息,或者做一些其他的事情,比如提交消费位移等。协议格式设计:协议请求头格式如下图所示:[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-iWTXQFGc-1615297820144)(quiver-image-url/7C0E753A27EDD54D16A6532957444DE6.jpg =557x94)]原创 2021-03-09 22:12:23 · 190 阅读 · 0 评论 -
深入理解Kafka cruise control
基本设计负载均衡目标机架目标(Hard Goal)RackAwareGoal: 相同分区的副本必须在不同机架上RackAwareDistributionGoal: 保证副本均衡分散在机架上资源使用阈值目标CapacityGoal(Hard Goal)一台broker的每一个资源(CPU、Disk、NetWorkIn、NetWorkOut)利用率都应该在预定义的阈值之下**CpuCapacityGoal ****DiskCapacityGoal ****原创 2020-12-31 15:59:14 · 1686 阅读 · 0 评论 -
可靠的数据传递
Kafka的可靠性各种各样的可靠性及其在Kafka场景中的含义;Kafka的复制功能,以及它是如何提高系统可靠性的;如何配置Kafka的broker和主题来满足不同的使用场景需求,以及生产者和消费者如何在各种可靠性场景里使用它们;如何验证系统的可靠性。可靠性保证Kafka可以保证分区消息的顺序;只有当消息被写入分区的所有同步副本时(但不一定要写入磁盘),它才被认为是"已提交"的;只要还有一个副本是活跃的,则已经提交的消息就不会丢失;消费者只能读取已经提交的消息。复制分区首原创 2020-12-06 17:58:34 · 223 阅读 · 0 评论 -
Kafka常用运维命令
使用权限管理/opt/bigdata/app/kafka/bin/kafka-configs.sh --zookeeper zkurl --entity-type topics --entity-name yyj1 --alter --add-config join.isr.wait.seconds=600# 关于broker间的通信,需要一个admin用户bin/kafka-configs.sh --zookeeper zkurl --alter --add-config 'SCRAM-SHA-原创 2020-12-06 17:54:33 · 373 阅读 · 0 评论 -
Kafka生产者
向Kafka写入数据Kafka生产者组件从创建一个ProducerRecord对象开始,ProducerRecord对象需要包含目标主题和要发送的内容。我们可以指定键或分区。在发送ProducerRecord对象时,生产者要先把键和值对象序列化成字节数组,这样才能在网络上传输。接下来,数据被传送给分区起,如果之前在ProducerRecord对象里指定了分区,则分区器不会再做任何事情,直接把指定的分区返回。如果没有指定分区,则分区器会根据ProducerRecord对象的键来选择一个分区。选原创 2020-12-06 17:40:25 · 795 阅读 · 0 评论 -
Kafka消费者
从Kafka读取数据KafkaConsumer概念消费者和消费者组具体示意图Kafka消费者从属于消费者群组。一个群组里的消费者订阅的是同一个主题,每个消费者接收主题一部分分区的消息。消费者群组和分区再平衡分区的所有权从一个消费者转移到另一个消费者,这样的行为被称为再平衡。再均衡非常重要,它为消费者群组带来了高可用性和伸缩性(我们可以放心地添加或移除消费者),创建Kafka消费者与KafkaProducer类似,创建一个KafkaConsumer对象,需要3个必原创 2020-12-06 17:36:20 · 277 阅读 · 0 评论 -
深入Kafka
背景如果只是为了开发Kafka应用程序,或只是在生产环境使用Kafka,则了解Kafka的内部工作原理不是必需的。但了解Kafka的内部工作原理有助于理解Kafka的行为,也有助于诊断问题。以下是要探讨的问题:Kafka如何进行复制;Kafka如何处理来自生产者和消费者的请求;Kafka的存储细节,比如文件格式和索引。组件介绍Kafka总体架构概览:集群成员关系Kafka使用Zookeeper来维护集群成员的信息。每个broker都有一个唯一标识符,这个标识符可以在配置文件里指定原创 2020-12-06 17:30:11 · 149 阅读 · 0 评论 -
Kafka入门
入门基础认识-什么是Kafka基础概念:Kafka作为一个集群,运行在一台或者多台服务器上;Kafka通过topic对存储的流数据进行分类;每条记录中包含一个key,一个value和一个timestamp(时间戳)核心API:Producer API: 允许一个应用程序发布一串流式的数据到一个或多个Kafka topic;Consumer API:允许一个应用程序订阅一个或多个topic,并且对发布给他们的流式数据进行处理;Streams API:允许一个应用程序作为一个原创 2020-12-06 17:02:47 · 145 阅读 · 0 评论