Kafka
文章平均质量分 79
Agatha方艺璇
路遥马急的人间,愿成长得明媚,与优秀为伍
展开
-
Flume对接Kafka,Kafka监控
Flume对接Kafka1、配置flume(flume-kafka.conf)#definea1.sources = r1a1.sinks = k1a1.channels = c1 # sourcea1.sources.r1.type = execa1.sources.r1.command = tail -F -c +0 /opt/module/datas/flume.loga1.sources.r1.shell = /bin/bash -c # sinka1.sinks.k1.type = org.a原创 2021-01-12 20:15:48 · 349 阅读 · 0 评论 -
Kafka API
一、Producer API1、 消息发送流程Kafka的Producer发送消息采用的是异步发送的方式。在消息发送的过程中,涉及到了两个线程——main线程和Sender线程,以及一个线程共享变量——RecordAccumulator。main线程将消息发送给RecordAccumulator,Sender线程不断从RecordAccumulator中拉取消息发送到Kafka broker。相关参数: batch.size:只有数据积累到batch.size之后,sender才会发送数据。li原创 2021-01-12 20:07:11 · 104 阅读 · 0 评论 -
Kafka架构深入
一、Kafka工作流程及文件存储机制Kafka中消息是以topic 进行分类的,生产者生产消息,消费者消费消息,都是面向topic的。topic是逻辑上的概念,而partition是物理上的概念,每个partition对应于一个log(data)文件,该log文件中存储的就是producer生产的数据。Producer生产的数据会被不断追加到该log文件末端,且每条数据都有自己的offset。消费者组中的每个消费者,都会实时记录自己消费到了哪个offset,以便出错恢复时,从上次的位置继续消费。由原创 2021-01-12 19:39:23 · 159 阅读 · 1 评论 -
kafka快速入门
一、安装部署1、集群规划2、jar包下载http://kafka.apache.org/2downloads.html3、 集群部署1)解压安装包tar -zxvf kafka_2.11-0.11.0.0.tgz2)修改解压后的文件名称mv kafka_2.11-0.11.0.0/ kafka-0.113)在/opt/module/kafka目录下创建logs文件夹mkdir logs4)修改配置文件cd config/vi server.properties输入以下内容:原创 2021-01-12 19:25:14 · 104 阅读 · 0 评论 -
Kafka概述
一、定义Kafka是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域。二、消息队列(Message Queue)1、传统消息队列的应用场景2、消息队列的两种模式1)点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除)消息生产者生产消息发送到Queue中,然后消息消费者从Queue中取出并且消费消息。消息被消费以后,queue中不再有存储,所以消息消费者不可能消费到已经被消费的消息。Queue支持存在多个消费者,但是对一个消息而言,只会有一个消费者可以消费。原创 2021-01-12 19:17:57 · 131 阅读 · 0 评论 -
Kafka环境搭建与相关启动命令
Kafka环境搭建与启动命令原创 2023-09-01 15:22:22 · 982 阅读 · 0 评论