![](https://img-blog.csdnimg.cn/20190925010546424.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Kafka
不稳定记忆
静心则专,静思则通,静身则安,静默则熟。
展开
-
Kafka概述
1 Kafka是什么在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。1)Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。2)Kafka最初是由LinkedIn公司开发,并于 2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据...原创 2019-09-25 00:50:01 · 175 阅读 · 0 评论 -
Kafka集群部署
1 环境准备1.1 集群规划hadoop102 hadoop103 hadoop104zk zk zkk...原创 2019-09-25 16:41:23 · 213 阅读 · 0 评论 -
Kafka工作流程分析
Kafka工作流程分析1 Kafka生产过程分析1.1 写入方式producer采用推(push)模式将消息发布到broker,每条消息都被追加(append)到分区(patition)中,属于顺序写磁盘(顺序写磁盘效率比随机写内存要高,保障kafka吞吐率)。1.2 分区(Partition) Kafka集群有多个消息代理服务器(broker-server)组...原创 2019-09-26 23:55:44 · 149 阅读 · 0 评论 -
Kafka API实战
1 环境准备1)在eclipse中创建一个java工程2)在工程的根目录创建一个lib文件夹3)解压kafka安装包,将安装包libs目录下的jar包拷贝到工程的lib目录下,并build path。4)启动zk和kafka集群,在kafka集群中打开一个消费者[atguigu@hadoop102 kafka]$ bin/kafka-console-consumer.sh --...原创 2019-09-27 00:35:25 · 167 阅读 · 0 评论 -
Kafka producer拦截器(interceptor)
1 拦截器原理Producer拦截器(interceptor)是在Kafka 0.10版本被引入的,主要用于实现clients端的定制化控制逻辑。对于producer而言,interceptor使得用户在消息发送前以及producer回调逻辑前有机会对消息做一些定制化需求,比如修改消息等。同时,producer允许用户指定多个interceptor按序作用于同一条消息从而形成一个拦截链(i...原创 2019-09-27 00:38:48 · 222 阅读 · 0 评论 -
kafka Streams
kafka Streams1 概述1.1 Kafka Streams Kafka Streams。Apache Kafka开源项目的一个组成部分。是一个功能强大,易于使用的库。用于在Kafka上构建高可分布式、拓展性,容错的应用程序。1.2 Kafka Streams特点1)功能强大高扩展性,弹性,容错2)轻量级无需专门的集群一个库,而不是框架3)完...原创 2019-09-27 00:41:03 · 212 阅读 · 0 评论