kafka发展趋势

最新推荐文章于 2024-08-03 00:55:22 发布
最新推荐文章于 2024-08-03 00:55:22 发布
阅读量684 收藏 1
点赞数 1
分类专栏： Kafka 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangyijun1990/article/details/111998468
版权

1.kafka所有KIP地址

https://cwiki.apache.org/confluence/display/KAFKA/Kafka+Improvement+Proposals

1.1.减少topic分区

https://cwiki.apache.org/confluence/display/KAFKA/KIP-694%3A+Support+Reducing+Partitions+for+Topics

1.2.MirrorMaker2精确一次

https://cwiki.apache.org/confluence/display/KAFKA/KIP-656%3A+MirrorMaker2+Exactly-once+Semantics

1.3.弃用zookeeper（KIP-500）

https://www.aboutyun.com/thread-27567-1-1.html

https://cwiki.apache.org/confluence/display/KAFKA/KIP-500%3A+Replace+ZooKeeper+with+a+Self-Managed+Metadata+Quorum

1.4.controller与broker分离，引入raft协议作为controller的仲裁机制（KIP-630）

https://cwiki.apache.org/confluence/display/KAFKA/KIP-630%3A+Kafka+Raft+Snapshot

1.5.分层存储（KIP-405）

https://cwiki.apache.org/confluence/display/KAFKA/KIP-405%3A+Kafka+Tiered+Storage

Kafka2.7.0发布

https://www.orchome.com/9993
https://blog.csdn.net/wypblog/article/details/111829234
https://www.iteblog.com/archives/9917.html

主要committers

http://kafka.apache.org/committers

如何贡献

http://kafka.apache.org/contributing

123 黑曼巴
关注
专栏目录
Kafka未来趋势：云原生与边缘计算
程序员光剑
06-16 1043
在当今数据驱动的时代，Apache Kafka已经成为企业数据流动的核心组件。作为一个高性能、分布式的流处理平台，Kafka能够实现实时数据的收集、存储、处理和分析。随着技术的不断发展，特别是云计算和边缘计算的兴起，Kafka的应用场景和架构也在不断演进。云原生技术的出现推动了Kafka在可伸缩性和弹性方面的发展，使其能够更好地适应动态变化的工作负载和复杂的分布式环境。同时，边缘计算的兴起要求Kafka能够在资源受限的环境中高效运行，将数据处理能力下沉到数据源附近，从而减少延迟，提高效率。
Spark与Kafka集成
程序员光剑
01-17 431
1.背景介绍 Spark和Kafka都是大数据处理领域中非常重要的技术。Spark是一个快速、高效的大数据处理框架，可以用于数据存储、计算和分析。Kafka是一个分布式流处理平台，可以用于实时数据处理和传输。在大数据处理中，Spark和Kafka之间的集成非常重要，可以实现高效的数据处理和分析。 本文将从以下几个方面进行阐述：
从Kafka版本迭代，一窥未来趋势
didi_cloud的博客
06-02 321
滴滴Kafka的使用规模应该算是在国内互联网领域里数一数二的企业，Kafka承载日增2PB的日志的流转和缓存，其下游要经受住100W + Producer同时写入数据，自身集群峰值可达 2000W/s，集群流量可达 30GB/s，集群中有2W+ topic、20+ cluster、单集群 370+ Broker，上游要对接3W+Consumer，最大数据消费可达600MB/s，面对这么大规模数据流转和分发虽然也会遇到因为Kafka磁盘IO热点导致的集群生产消费雪崩；或者因为Topic资源隔离差，流量突增、回
结合 Apache Kafka 生态系统，谈谈2018年机器学习五大趋势
Enmotech的博客
04-18 1130
导读：让我们来研究下 Uber 和 Netflix 上的 KSQL，ONNX，AutoML 和机器学习平台，看看它们之间是如何相互关联的。在2018慕尼黑 OOP 会议上...
饶军：Apache Kafka的过去，现在，和未来
weixin_34206899的博客
05-04 193
欢迎大家前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~本文首发在云+社区，未经许可，不得转载。大家好，我大概简单的介绍一下，我叫饶军，我是硅谷的初创公司Confluent的联合创始人之一，我们公司的三个创始人都是在最开始在领这个公司做kafka开发出身的。我们公司是2014年成立的，成立的宗旨想把公司做成一个帮助各种各样企业做基于kafka之上的数据流的事情。在开始之前，我想大概做一个简单的调查...
结合Apache Kafka生态系统，谈谈2018年机器学习5大趋势
云栖社区
03-04 523
云栖君导读：让我们来研究下Uber和Netflix上的KSQL，ONNX，AutoML和机器学习平台，看看它们之间是如何相互关联的。在2018慕尼黑OOP会议上，我展示了使用Apache Kafka生态系统和深度学习框架（如TensorFlow，DeepLearning4J）构建可扩展关键型（mission- critical）任务微服务的最新版本。本文中，我想分享出最新的幻灯片并讨论最新趋势。本
『互联网架构』kafka发展历程和安装部署
IT架构圈博客
08-01 572
官网http历史kafka历史2010年底，开源到github，初始版本为0.7.0。2011年7月因为备受关注，被纳入apache孵化器项目。2012年10月，kafka从apache孵化器项目毕业，成为apache顶级项目。2014年，jaykreps，nehanarkhede，junrao离开linkedin，成立confluent，此后linkedin和confluent成为kafka的核心贡组织，致力于将kafka推广应用。目前最新版本2.3.0介绍。...
Spring Boot+Kafka实战生产级Kafka消费组
程序员光剑
08-06 2517
Kafka是一个开源分布式消息系统，最初由LinkedIn开发，之后成为Apache项目的一部分。Kafka主要用于大数据实时流处理，具有低延迟、高吞吐量等特点。本文将会从基本概念、术语说明、原理及应用场景三个方面对Kafka进行详细介绍。Kafka作为一个分布式系统，需要配合Zookeeper实现主备、容错等功能。因此在实际中部署Kafka集群至少需要2台服务器，其中一台为zookeeper服务器。
Kafka安全性与访问控制
程序员光剑
06-08 992
Kafka安全性与访问控制 1.背景介绍 Apache Kafka是一个分布式流处理平台,被广泛应用于大数据领域。随着越来越多的企业采用Kafka作为关键的数据管道,确保Kafka的安全性和访问控制变得至关重要。本文将深入探讨Kafka安全性和访问控制的核心概念、实现原理和最佳实践。
Kafka的数据备份与恢复
最新发布
程序员光剑
08-03 342
Kafka的数据备份与恢复 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：Kafka，数据备份，数据恢复，分布式系统，消息队列 1.
Kafka发展史
一剪梅的博客
02-10 1233
Kafka 设计之初是为了解决 Linkedin 公司数据管道(datapipe)问题. KafkaProducer 的工作逻辑：将消息封装成 ProducerRecord 对象，然后使用KafkaProducer.send 将消息发送出去. 事实上，其拿到消息后会通过序列化，根据本地缓存的元数据，确定目标分区，最后写入缓冲区. KafkaProducer 专门有一个 Selector I/O 线...
kafka解释三的具体：发展Kafka应用
weixin_34060299的博客
07-05 118
一个、整体外观Kafka 我们知道。Kafka系统有三大组件：Producer、Consumer、broker 。 producers 生产(produce)消息(message)并推(push)送给brokers，consumers从brokers把消息提取(pull)出来消费(consume)。 二、开发一个Producer应用          Pro...
Kafka的时代已经过去了，未来是Pulsar的吗？
热门推荐
稀有气体的技术博客
09-28 2万+
今天InfoWorld最佳开源数据平台奖公布，连续两年入选的 Kafka 这次意外失手，pulsar取而代之。 pulsar最初由Yahoo开发，并于2016年底开源，现在是Apache软件基金会的一个孵化器项目。Pulsar在Yahoo的生产环境运行了三年多，助力Yahoo的主要应用，如Yahoo Mail、Yahoo Finance、Yahoo Sports、Flickr、Gemini广告平...
Apache Kafka的过去，现在，和未来
Hadoop技术博文
04-23 958
本分享来自于2018年04月在美团研发园进行的Kafka Beijing Meetup第四次活动分析。作者是饶军，他是Confluent的联合创始人，该公司主要业务是基于...
Kafka由浅入深（1） Kafka的前世今生
架构源启的博客
10-08 1166
相较于以日志为中心的系统，例如Scribe和Flume，消息队列Kafka版在具备高性能的同时，可以实现更强的数据持久化以及更短的端到端响应时间。起初Linkedin采用了ActiveMQ来进行数据交换，大约是在2010年前后，那时的ActiveMQ还远远无法满足Linkedin对数据传递系统的要求，经常由于各种缺陷而导致消息阻塞或者服务无法正常访问，为了能够解决这个问题，Linkedin决定研发自己的消息传递系统，当时linkedin的首席架构师Jay Kreps 便开始组织团队进行消息传递系统的研发。
apache pulsar
orange596的专栏
08-19 416
pulsar最初由Yahoo开发，并于2016年底开源，现在是Apache软件基金会的一个孵化器项目。Pulsar在Yahoo的生产环境运行了三年多，助力Yahoo的主要应用，如Yahoo Mail、Yahoo Finance、Yahoo Sports、Flickr、Gemini广告平台和Yahoo分布式键值存储系统Sherpa。 pulsar和kafka最显而易见的区别是，pulsar支持多租...
大数据领域的重要基础设施——Kafka入门篇（诞生背景与主要特点介绍）
博客虽小，世界尽在其中
05-23 1259
本文深入探讨了大数据领域的重要基础设施——Apache Kafka的入门知识，着重介绍了其诞生背景与主要特点。在大数据和实时数据处理日益重要的今天，Kafka凭借其卓越的性能和灵活性成为了业界广泛应用的分布式流处理平台。文章首先概述了Kafka的诞生背景，即在处理海量实时数据流时，传统消息队列系统的不足促使了Kafka的诞生。随后，文章详细阐述了Kafka的主要特点，包括其高吞吐量、低延迟、分布式架构、持久性和容错性等，这些特点使得Kafka能够高效、可靠地处理大规模数据流，满足各种实时业务场景的需求。此外
前传(1):Kafka 的前生今世
water Wang
03-17 481
不错的文章，转发下 Kafka只是消息引擎系统吗？ 要搞清楚这个问题，我们不可避免地要了解一下 Apache Kafka 的发展历程。有的时候我们会觉得说了解一个系统或框架的前世今生似乎没什么必要，直接开始学具体的技术不是更快更好吗？ 其实，不论是学习哪种技术，直接扎到具体的细节中，亦或是从一个很小的点开始学习，你很快就会感到厌烦。为什么呢？因为你虽然快速地搞定了某个技术细节，但无法建立全局的认知观，这会导致你只是在单个的点上有所进展，却没法将其串联成一条线进而扩展成一个面，从而实现系统地学习。 我这么.
Kafka背景及架构介绍
走在大数据的边缘
08-17 481
**背景及架构介绍** 一、 背景 什么是kafka呢，他是LinkedIn开发的一个分布式消息系统，用scala编写的，可以水平扩展和高吞吐率。 原本开发自LinkedIn，用作他们的活动流和运营数据处理管道的基础，之后被多家公司使用，慢慢发展壮大起来。 二、 简单介绍 kafka是分布式的，基于发布/订阅的消息系统。 1、 即使对TB级以上数据也能保证常数时间复杂度的访
java微服务发展趋势
04-07
Java微服务是一种基于微服务架构的应用开发模式，它将一个大型的应用系统拆分成多个小型的、独立部署的服务单元，每个服务单元都可以独立开发、部署和扩展。Java微服务的发展趋势主要包括以下几个方面： 1. 云原生：随着云计算的普及，Java微服务也越来越多地应用于云原生环境中。云原生是一种基于容器化和轻量级编排的应用开发模式，它可以提供更高的弹性和可伸缩性，使得Java微服务更加适应云环境的需求。 2. 无服务架构：无服务架构是一种将应用逻辑以函数的形式进行部署和执行的架构模式。Java微服务可以通过使用无服务框架（如AWS Lambda、Azure Functions等）来实现更细粒度的服务拆分和部署，从而提高开发效率和资源利用率。 3. 容器化：容器化是将应用程序及其依赖项打包到一个独立的、可移植的容器中，并在任何环境中运行的技术。Java微服务可以使用容器技术（如Docker、Kubernetes等）来实现快速部署、弹性伸缩和服务治理等功能。 4. 事件驱动架构：事件驱动架构是一种基于事件和消息的系统设计模式，它可以实现松耦合、异步处理和可扩展性。Java微服务可以使用事件驱动架构（如Apache Kafka、RabbitMQ等）来实现服务之间的解耦和异步通信。 5. AI和机器学习：随着人工智能和机器学习的快速发展，Java微服务也开始与这些技术进行结合。Java微服务可以使用机器学习模型来实现智能推荐、数据分析等功能，从而提供更加智能化的服务。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值