kafka系列1——基本介绍——第1章初识kafka1

最新推荐文章于 2024-08-27 05:55:46 发布

Ethan Yankang

最新推荐文章于 2024-08-27 05:55:46 发布

阅读量909

点赞数 24

文章标签： kafka 分布式

本文链接：https://blog.csdn.net/m0_68657832/article/details/140699034

版权

🌈hello，你好鸭，我是Ethan，西安电子科技大学大三在读，很高兴你能来阅读。

✔️目前博客主要更新Java系列、项目案例、计算机必学四件套等。
🏃人生之义，在于追求，不在成败，勤通大道。加油呀！

🔥个人主页：Ethan Yankang
🔥推荐：史上最强八股文||一分钟看完我的几百篇博客

🔥温馨提示：划到文末发现专栏彩蛋点击这里直接传送

🔥本篇概览：详细讲解了kafka的基本介绍，包括特性、适用场景、技术优势等。🌈⭕🔥

【计算机领域一切迷惑的源头都是基本概念的模糊，算法除外】

🔥 微服务全集

🔥 kafka全集

🔥 前一篇章

🌈引出

Apache的kafka是一个分布式的消息发布订阅中间件。具有高吞吐、可扩展和容错性等特点。主要用于处理大规模的流式数据。

本博客从各个方面详细讲解了kafka的机制，并实际上手使用之，好好学完定会习得大功。（bushi，上一次面试就噶在kafka上了，好好对待之。）

🌈概览

tips 学完这一章你可以

知道 Kafka 基本原理，了解关键术语概念

可以使用 Kafka 进行消息系统开发

通过Java语言来使用Kafka进行消息收发、

🌈Apache Kafka是一个分布式的发布-订阅消息系统，能够支撑海量数据的数据传递。

一、kafka基本介绍

Kafka最初是由LinkedIn公司采用Scala语言开发的一个多分区、多副本并且基于ZooKeeper协调的分布式消息系统，现在已经捐献给了Apache基金会。目前Kafka已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流处理等多种特性而被广泛应用。

Apache Kafka 是一个分布式的发布 - 订阅消息系统，能够支撑海量数据的数据传递。在离线和实时的消息处理业务系统中，Kafka 都有广泛的应用。 Kafka 将消息持久化到磁盘中，并对消息创建了备份保证了数据的安全。Kafka 在保证了较高的处理速度的同时，又能保证数据处理的低延迟和数据的零丢失。

【官网视图】

二、特性

（1）高吞吐量、低延迟： kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个主题可以分多个分区, 消费组对分区进行消费操作；

（2）可扩展性： kafka 集群支持热扩展；

（3 ）持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失；

（4 ）容错性：允许集群中节点失败（若副本数量为 n, 则允许 n-1 个节点失败）；

（5 ）高并发：支持数千个客户端同时读写；

三、适用场景

（1 ）日志收集：一个公司可以用 Kafka 可以收集各种服务的 log ，通过 kafka 以统一接口服务的方式开放给各种consumer ，例如 Hadoop 、 Hbase 、 Solr 等；

（2 ）消息系统：解耦和生产者和消费者、缓存消息等；

（3）用户活动跟踪： Kafka 经常被用来记录 web 用户或者 app 用户的各种活动，如浏览网页、搜索、点击等活动，这些活动信息被各个服务器发布到kafka 的topic 中，然后订阅者通过订阅这些 topic 来做实时的监控分析，或者装载到Hadoop 、数据仓库中做离线分析和挖掘；

（4）运营指标： Kafka 也经常用来记录运营监控数据。包括收集各种分布式应用的数据，生产各种操作的集中反馈，比如报警和报告；

（5 ）流式处理：比如 spark streaming 和 storm ；