【Kafka】1 简介

是什么

Apache Kafka® 是 一个分布式流处理平台

特性

  1. 可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。
  2. 可以储存流式的记录,并且有较好的容错性。
  3. 可以在流式记录产生时就进行处理。

应用场景

  1. 构造实时流数据管道,它可以在系统或应用之间可靠地获取数据。
  2. 构建实时流式应用程序,对这些流数据进行转换或者影响。

在这里插入图片描述

总结

Kafka最适合的还是作为消息队列,处理流数据,给大量数据处理做一层缓冲。
前后对接,前面对接输入业务,后面对接可视化业务或者数据分析业务。
最常见的还是作为日志处理的一部分,参考阿里云版本的Kafka,详情见下图,也可以算是Kafka的最佳实践了。

在这里插入图片描述

参考资料

  • https://kafka.apachecn.org/intro.html
  • http://kafka.apache.org/intro
  • https://help.aliyun.com/document_detail/68151.html?spm=a2c4g.11186623.6.545.65062cffVKdGJ6
雨果虾滑猫 CSDN认证博客专家 PHP MySQL Python
CSDN博客专家。PHP/MYSQL/Elasticsearch,PMP项目管理 ,产品设计。6年服务端开发,2年产品,连续创业者,曾经参与区块链、新零售行业创业。Gitchat作者,曾在Gitcchat发布智能合约相关课程。
<p> <span style="color:#E53333;">内容简介:</span> </p> <p> Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。本课程主要是讲解分布式架构下的异步消息通信机制的解决方案Kafka,从Kafka的产生背景、到Kafka 的基本应用、最后再深入分析Kafka的原理进行整体的梳理和分析。 </p> <p> <br /> </p> <p> <br /> </p> <p> <br /> </p> <p> <span style="color:#E53333;">为什么需要学习kafka?</span> </p> <p> <br /> </p> <p style="font-family:""> Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消息。 </p> <p style="font-family:""> <br /> </p> <p> <span style="color:#E53333;">课程大纲:</span> </p> <p> 为了让大家快速系统了解Kafka技术知识全貌,我为你总结了「Kafka核心技术框架图」,帮你梳理学习重点,建议收藏!! </p> <p> <img src="https://img-bss.csdnimg.cn/202006240625278086.png" alt="" /> </p>
相关推荐
©️2020 CSDN 皮肤主题: 博客之星2020 设计师:CY__ 返回首页
实付 19.90元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值