![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 93
kafka学习
炎升
这个作者很懒,什么都没留下…
展开
-
kafka学习(七):消息队列与JMS
Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目,目标是为处理实时数据提供一个统一、高通量、低等待的平台,Kafka被广泛地应用于各种流式计算中。原创 2022-11-25 09:53:26 · 1920 阅读 · 0 评论 -
kafka学习(六):kafka应用场景
消息队列中间件是分布式系统中重要的组件,主要解决,,等问题,实现高性能,高可用,可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ。以下介绍消息队列在实际应用中常用的使用场景。异步处理,应用解耦,流量削锋和消息通讯四个场景。转载 2022-11-24 11:08:32 · 3998 阅读 · 0 评论 -
kafka学习(五):消费者分区策略(再平衡机制)
*** 返回序列化后的自定义数据*/}/*** 分区分配的计算逻辑*//*** 当组成员从领导者那里收到其分配时调用的回调*/}/*** 指明使用的再平衡协议* 默认使用RebalanceProtocol.EAGER协议, 另外一个可选项为 RebalanceProtocol.COOPERATIVE*/}/***/}/*** 分配器的名字。原创 2022-10-26 10:19:06 · 4428 阅读 · 2 评论 -
kafka学习(四):生产者发送消息的分区策略
自定义分区策略 跟DefaultPartitioner实现方式一样。1、创建一个类,实现Partitioner接口。2、重写 partitioner中的方法,partitioner()方法的参数说明:参数1:topic参数2:key值参数3:key值字节数组参数4:value数据参数5:value数据的字节数组参数6:集群对象3、在 partitioner() 方法中编写自定义分区逻辑,返回分区编号。4、在生产者配置信息中进行配置自定义分区:=配置类全路径。原创 2022-10-25 14:38:17 · 3905 阅读 · 0 评论 -
kafka学习(三):kakfa消息处理、索引、零拷贝
综上,这三层语义,没有好坏之分,主要看具体的应用场景。例:允许数据丢失,但追求高性能,使用 at most once 至多一次。对数据精度要求非常高,一条不能丢并且结果严格正确,使用exactly once。很多框架默认是第二种(折中的),如何降低数据重复处理的可能行呢?可以适当调高超时时间,尤其是网络环境不好时。原创 2022-10-24 11:28:21 · 1221 阅读 · 0 评论 -
kafka学习(一):介绍、相关概念
Kafka最初由Linkedin公司开发,是一个分布式的、⽀持分区的(partition)、多副本的(replica)、多订阅者,基于zookeeper协调的分布式消息系统(也可以当做MQ系统),也是一个分布式流处理平台常用于web/nginx日志、访问日志、消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。原创 2022-10-24 10:01:50 · 1357 阅读 · 0 评论 -
kafka学习(二):单机环境搭建、基本使用
下载kafka很简单,可以使用源码的方式和安装包的方式安装。这里使用安装包的方式进行安装,只需要进行解压运行即可。源码下载地址:https://archive.apache.org/dist/kafka/2.5.0/kafka-2.5.0-src.tgz安装包下载地址:https://archive.apache.org/dist/kafka/2.5.0/kafka_2.12-2.5.0.tgz。原创 2022-10-24 09:34:23 · 2045 阅读 · 0 评论