Kafka
文章平均质量分 95
打怪的蚂蚁
这个作者很懒,什么都没留下…
展开
-
Kafka背景及架构介绍
Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。InfoQ一直在紧密关注Kafka的应用以及发展,“Kafka剖析”专栏将会从架构设计、实现、应用场景、性能等方面深度解析Kafka。背景介绍Kafka创建原创 2016-11-17 16:03:02 · 413 阅读 · 0 评论 -
kafka源码分析之一server启动分析
0. 关键概念关键概念ConceptsFunctionTopic用于划分Message的逻辑概念,一个Topic可以分布在多个Broker上。Partition是Kafka中横向扩展和一切并行化的基础,每个Topic都至少被切分为1个Partition。Offset消息在Partition中原创 2017-04-13 20:53:15 · 951 阅读 · 0 评论 -
Spark Streaming结合 Kafka 两种不同的数据接收方式比较
DirectKafkaInputDStream 只在 driver 端接收数据,所以继承了 InputDStream,是没有 receivers 的在结合 Spark Streaming 及 Kafka 的实时应用中,我们通常使用以下两个 API 来获取最初的 DStream(这里不关心这两个 API 的重载):KafkaUtils#createDirectStream及转载 2017-06-15 09:31:32 · 1496 阅读 · 1 评论 -
Apache Kafka:大数据的实时处理时代
作者|王国璋编辑|小智在过去几年,对于 Apache Kafka 的使用范畴已经远不仅是分布式的消息系统:我们可以将每一次用户点击,每一个数据库更改,每一条日志的生成,都转化成实时的结构化数据流,更早的存储和分析它们,并从中获得价值。同时,越来越多的企业应用也开始从批处理数据平台向实时的流数据数据平台转移。本演讲将介绍最近 Apache Kafka 添加的一些系统架构,包括 Kafka Conne转载 2017-08-08 20:51:37 · 3089 阅读 · 0 评论 -
Kafka 基本原理
Kafka基本原理简介Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。Kafka架构它的架构包括以下组件:话题(Topic):是特定类型的消息流。消息是字节的有效负载(Payload),话题是消息的分类名或种转载 2017-08-09 11:01:16 · 273 阅读 · 0 评论 -
kafka 数据可靠性深度解读
1 概述Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统,后成为Apache的一部分,它使用Scala编写,以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark等都支持与Kafka集成。Kafka凭借着自身的优势,越来越受到互联网企业的青睐,唯品会也采用Kafka作为其内部核心消息引擎之一。转载 2017-08-16 15:42:52 · 1141 阅读 · 0 评论 -
Kafka分区分配策略(Partition Assignment Strategy)
Kafka分区分配策略(Partition Assignment Strategy)参考:https://www.iteblog.com/archives/2209.html1.问题2.Range Strategy3.RoundRobin Strategy问题用过Kafka 的同学用过都知道,每个 Topic 一般会有很多个 partitions。为了使得我们能够及时消费消息,我们也转载 2017-11-03 16:54:53 · 2513 阅读 · 0 评论