kafka
冉半夏生
这个作者很懒,什么都没留下…
展开
-
kafka工具——Eagle2.0.0安装教程
1、解压Eagle原创 2020-11-29 19:22:47 · 1496 阅读 · 1 评论 -
Kafka自定义拦截器
Producer 拦截器(interceptor)是在 Kafka 0.10 版本被引入的,主要用于实现 clients 端的定制化控制逻辑。对于 producer 而言,interceptor 使得用户在消息发送前以及 producer 回调逻辑前有机会对消息做一些定制化需求,比如修改消息等。同时,producer 允许用户指定多个 interceptor 按序作用于同一条消息从而形成一个拦截链(interceptor chain)。Intercetpor 的实现接口是org.apache.kafka.c原创 2020-11-29 11:20:19 · 146 阅读 · 0 评论 -
KafkaAPI之消费者Consumer
1、最简单消费者package tyh.consumer;import org.apache.kafka.clients.consumer.ConsumerConfig;import org.apache.kafka.clients.consumer.ConsumerRecord;import org.apache.kafka.clients.consumer.ConsumerRecords;import org.apache.kafka.clients.consumer.KafkaCons原创 2020-11-29 09:39:24 · 517 阅读 · 0 评论 -
kafka API之生产者Producer
写kafka生产者前先通过命令行创建topic主题和开启消费者:①创建topic:bin/kafka-topics.sh --zookeeper hadoop100:2181 --create --replication-factor 1 --partitions 2 --topic first②开启消费者:bin/kafka-console-consumer.sh --zookeeper hadoop100:2181 --topic first一、最简单的生产者代码:pac.原创 2020-11-25 16:22:07 · 611 阅读 · 0 评论 -
kafka生产者与消费者详细架构
参考链接:https://blog.csdn.net/LeoHan163/article/details/105902707https://developer.aliyun.com/article/7636021、生产者工作流程在生产者将消息发送出去之前,需要经历拦截器(Interceptor)、序列化器(Serializer)和分区器(Partitioner)等一系列的作用,随后才真正进入发送消息发送流程。整个生产者客户端由两个线程协调运行,这两个线程分别为主线程和Sender线程原创 2020-11-15 11:12:25 · 1049 阅读 · 0 评论 -
kafka命令行常用命令详解
(1)查看当前服务器中的所有 topic bin/kafka-topics.sh --zookeeper hadoop100:2181 --list目前没有主题,所以没有输出,下面我们创建一个主题(2)创建通topicbin/kafka-topics.sh --zookeeper hadoop100:2181 --create --replication-factor 1 --partitions 2 --topic first选项说明: --topic 定义 topic .原创 2020-11-14 15:24:27 · 551 阅读 · 0 评论 -
kafka配置与安装教程
1、jar包下载http://kafka.apache.org/downloads.html2、集群部署正常集群规划为完全分布式里的每台主机都要配置有zookeeper,kafka如:①使用工具将jar包传到集群中(为了方便演示,使用的是伪分布式)②解压到相应文件夹中tar -zxf kafka_2.11-0.11.0.0.tgz -C /opt/modules/解压成功,个人习惯将文件夹命名为kafka:③在kafka目录下创建logs文件④配原创 2020-11-13 23:41:38 · 182 阅读 · 0 评论 -
Kafka概述及基础架构
一、kafka定义:Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue,简称MQ),主要应用于大数据实时处理领域。这里有几个关键字,我们抓一下:①、分布式的:说明kafka的使用要依赖于集群,这也说明kafka这个消息队列是可拓展的,即当数据量过大,kafka过载时,可以通过增加集群机器来提升kafka的性能。②、发布/订阅模式:这个我后面会介绍,消息队列分为点对点消息系统和发布/订阅消息系统。③、消息队列:说明kafka是一个消息队列,负责的功能是将数据原创 2020-11-04 19:12:24 · 739 阅读 · 0 评论