Kafka
趣学程序-shaofeer
爱生活,爱程序。趣学程序!我在这里分享我的学习记录以及学习笔记!
展开
-
Kafka集群部署以及使用
Kafka集群部署部署步骤hadoop102hadoop103hadoop104zkzkzkkafkakafkakafkahttp://kafka.apache.org/downloads.html解压安装文件修改配置文件$ vi server.properties#broker的全局唯一编号,不能重复broker.id=0#是否允许删...原创 2019-05-29 15:46:47 · 290 阅读 · 0 评论 -
Kafka Streams
Kafka Streams概述Kafka StreamsKafka Streams。Apache Kafka开源项目的一个组成部分。是一个功能强大,易于使用的库。用于在Kafka上构建高可分布式、拓展性,容错的应用程序。Kafka Streams特点1)功能强大 高扩展性,弹性,容错 2)轻量级 无需专门的集群 一个库,而不是框架3)完全集成 100%的Kafka...原创 2019-05-29 15:48:22 · 342 阅读 · 0 评论 -
Kafka producer拦截器(interceptor)
Kafka producer拦截器(interceptor)拦截器原理Producer拦截器(interceptor)是在Kafka 0.10版本被引入的,主要用于实现clients端的定制化控制逻辑。对于producer而言,interceptor使得用户在消息发送前以及producer回调逻辑前有机会对消息做一些定制化需求,比如修改消息等。同时,producer允许用户指定多个inte...原创 2019-05-29 15:49:10 · 668 阅读 · 0 评论 -
Kafka API操作
Kafka API实战环境准备在eclipse中创建一个java工程在工程的根目录创建一个lib文件夹解压kafka安装包,将安装包libs目录下的jar包拷贝到工程的lib目录下,并build path。启动zk和kafka集群,在kafka集群中打开一个消费者生产者API[upuptop@hadoop102 kafka]$ bin/kafka-console-consum...原创 2019-05-29 15:50:01 · 498 阅读 · 0 评论 -
Kafka概述
Kafka概述Kafka是什么在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。Kafka最初是由LinkedIn公司开发,并于 2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提...原创 2019-05-29 15:51:07 · 234 阅读 · 0 评论 -
Kafka配置信息
Kafka配置信息broker配置信息属性默认值描述broker.id必填参数,broker的唯一标识log.dirs/tmp/kafka-logsKafka数据存放的目录。可以指定多个目录,中间用逗号分隔,当新partition被创建的时会被存放到当前存放partition最少的目录。port9092BrokerServer接受客户端连接的端口号...原创 2019-05-29 15:51:41 · 353 阅读 · 0 评论 -
Kafka工作流程分析
Kafka工作流程分析生产过程分析写入方式producer采用推(push)模式将消息发布到broker,每条消息都被追加(append)到分区(patition)中,属于顺序写磁盘(顺序写磁盘效率比随机写内存要高,保障kafka吞吐率)。分区(Partition)Kafka集群有多个消息代理服务器(broker-server)组成,发布到Kafka集群的每条消息都有一个类别,用...原创 2019-05-29 15:52:43 · 288 阅读 · 0 评论