![](https://img-blog.csdnimg.cn/4fda8b6c737440c2858a9807821963d8.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
kafka
文章平均质量分 80
Apache Kafka 是一个开源分布式事件流平台,被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用程序。
ghostwritten
关注领域:go python k8s docker 数据库 运维
打造一个专属个人更精准的问题解决搜索引擎。
展开
-
6. Kafka线上集群部署方案怎么做?
文章目录1. 操作系统2. 磁盘3. 磁盘容量4. 带宽5. 总结专栏前面几期内容,我分别从 Kafka 的定位、版本的变迁以及功能的演进等几个方面循序渐进地梳理了 Apache Kafka 的发展脉络。通过这些内容,我希望你能清晰地了解 Kafka 是用来做什么的,以及在实际生产环境中该如何选择 Kafka 版本,更快地帮助你入门 Kafka。现在我们就来看看在生产环境中的 Kafka 集群方案该怎么做。既然是集群,那必然就要有多个 Kafka 节点机器,因为只有单台机器构成的 Kafka 伪集群只能转载 2021-07-15 16:23:43 · 291 阅读 · 0 评论 -
7.Kafka的版本号
我为什么需要关心版本号的问题呢?直接使用最新版本不就好了吗?当然了,这的确是一种有效的选择版本的策略,但我想强调的是这种策略并非在任何场景下都适用。如果你不了解各个版本之间的差异和功能变化,你怎么能够准确地评判某 Kafka 版本是不是满足你的业务需求呢?因此在深入学习 Kafka 之前,花些时间搞明白版本演进,实际上是非常划算的一件事。Kafka 版本命名当前 Apache Kafka 已经迭代到 2.2 版本,社区正在为 2.3.0 发版日期进行投票,相信 2.3.0 也会马上发布。但是稍微有些令人转载 2021-07-15 16:04:52 · 1022 阅读 · 0 评论 -
4. 我应该选择哪种Kafka?
Kafka 不再是一个单纯的消息引擎系统,而是能够实现精确一次(Exactly-once)处理语义的实时流处理平台。你可能听说过 Apache Storm、Apache Spark Streaming 亦或是 Apache Flink,它们在大规模流处理领域可都是响当当的名字。令人高兴的是,Kafka 经过这么长时间不断的迭代,现在已经能够稍稍比肩这些框架了。我在这里使用了“稍稍”这个字眼,一方面想表达 Kafka 社区对于这些框架心存敬意;另一方面也想表达目前国内鲜有大厂将 Kafka 用于流处理的尴尬转载 2021-07-15 15:53:02 · 286 阅读 · 0 评论 -
3. Kafka只是消息引擎系统吗?
Kafka 只是消息引擎系统吗?要搞清楚这个问题,我们不可避免地要了解一下 Apache Kafka 的发展历程。有的时候我们会觉得说了解一个系统或框架的前世今生似乎没什么必要,直接开始学具体的技术不是更快更好吗?其实,不论是学习哪种技术,直接扎到具体的细节中,亦或是从一个很小的点开始学习,你很快就会感到厌烦。为什么呢?因为你虽然快速地搞定了某个技术细节,但无法建立全局的认知观,这会导致你只是在单个的点上有所进展,却没法将其串联成一条线进而扩展成一个面,从而实现系统地学习。我这么说是有依据的,因为这就是转载 2021-07-15 15:35:05 · 149 阅读 · 0 评论 -
5.认识Kafka专业术语
在专栏的第一期我说过 Kafka 属于分布式的消息引擎系统,它的主要功能是提供一套完备的消息发布与订阅解决方案。在 Kafka 中,发布订阅的对象是主题(Topic),你可以为每个业务、每个应用甚至是每类数据都创建专属的主题。向主题发布消息的客户端应用程序称为生产者(Producer),生产者程序通常持续不断地向一个或多个主题发送消息,而订阅这些主题消息的客户端应用程序就被称为消费者(Consumer)。和生产者类似,消费者也能够同时订阅多个主题的消息。我们把生产者和消费者统称为客户端(Clients)。转载 2021-07-15 15:07:48 · 174 阅读 · 0 评论 -
1. 消息引擎系统ABC
Kafka 是什么呢?用一句话概括一下:Apache Kafka 是一款开源的消息引擎系统。那这类系统是做什么用的呢?官方严肃版本的答案。根据维基百科的定义,消息引擎系统是一组规范。企业利用这组规范在不同系统之间传递语义准确的消息,实现松耦合的异步式数据传递。民间版:系统 A 发送消息给消息引擎系统,系统 B 从消息引擎系统中读取 A 发送的消息。最基础的消息引擎就是做这点事的!不论是上面哪个版本,它们都提到了两个重要的事实:消息引擎传输的对象是消息;如何传输消息属于消息引擎设计机制的一部分。转载 2021-07-15 11:02:01 · 486 阅读 · 0 评论 -
0. 为什么要学习Kafka?
截止到 2019 年,当下互联网行业最火的技术当属 ABC 了,即所谓的 AI 人工智能、BigData 大数据和 Cloud 云计算云平台。我个人对区块链技术发展前景存疑,毕竟目前没有看到特别好的落地应用场景,也许在未来几年它会更令人刮目相看吧。对于数据密集型应用来说,如何应对数据量激增、数据复杂度增加以及数据变化速率变快,是彰显大数据工程师、架构师功力的最有效表征。我们欣喜地发现 Kafka 在帮助你应对这些问题方面能起到非常好的效果。就拿数据量激增来说,Kafka 能够有效隔离上下游业务,将上游突增转载 2021-07-15 10:28:48 · 199 阅读 · 0 评论 -
Kafka学习入门目录
Kafka学习之路(一)Kafka的简介Kafka学习之路(二)Kafka的架构Kafka学习之路 (三)Kafka的高可用Kafka学习之路 (四)Kafka的安装Kafka学习之路 (五)Kafka在zookeeper中的存储Apache Kafka 集群部署指南...原创 2021-01-17 20:59:37 · 901 阅读 · 0 评论