Kafka
kafka相关技术专题
fql123455
这个作者很懒,什么都没留下…
展开
-
kafka Streaming
1.概述 Kafka Streams是一个用于构建应用程序和微服务的客户端库,其中的输入和输出数据存储在Kafka集群中。它结合了在客户端编写和部署标准Java和Scala应用程序的简单性,以及Kafka服务器端集群技术的优点。 Topology(拓扑):表示一个流计算任务,等价于MapReduce中的job。不同的是MapReduce的job作业最终会停止,但是ToPology会一直运行在...原创 2019-09-01 10:35:56 · 319 阅读 · 0 评论 -
kafka Streaming的 High-level
1.DSL概述 Kafka Streams DSL(Domain Specific Language)构建于Streams Processor API之上。它是大多数用户推荐的,特别是初学者。大多数数据处理操作只能用几行DSL代码表示。在 Kafka Streams DSL 中有这么几个概念KTable、KStream和GlobalKTable KStream是一个数据流,可以认为所有记录都...原创 2019-09-02 19:07:55 · 186 阅读 · 0 评论 -
Kafka Streams转换算子
1.stateless transformation 无状态的转换算子:流处理器不涉及状态的处理和存储 1.1 branch 分支 :将一个stream转换为1到多个Stream stream----->stream[] //branch 分流 KStream<String, String>[] streams = kStream.branch((k, v...原创 2019-09-02 22:01:06 · 1706 阅读 · 0 评论 -
kafka架构
1.Kafka概述 1.1 kafka具备三项关键能力 发布订阅记录流(Record),类似于消息队列(MQ)或者企业级消息系统。 存储记录流,以一种容错持久化方式。 实时处理加工流数据。 1.2 kafka的应用场景 构建实时的流数据管道,可靠的在系统和应用间获取数据。 构建实时的流数据应用,传输或者处理加工流数据。 1.3 kafka中的核心概念 Broker(中间人或者代理人):一...原创 2019-08-27 19:04:34 · 140 阅读 · 0 评论