![](https://img-blog.csdnimg.cn/20200406105306869.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Kafka
Hello Kafka
卜塔
但行好事,莫问前程
展开
-
【Kafka】Kafka为什么快?
Kafka之所以快的原因有三个:顺序读写、页缓存、零拷贝。原创 2023-04-18 15:08:08 · 754 阅读 · 0 评论 -
【Kafka】集群架构
每个分区有且仅有一个leader,负责消息的读写,当leader挂掉后,由zookeeper从ISR列表中选举新的leader。消费者组,每个消费者属于一个消费者组,每条消息只能被同一消费者组中的一个消费者消费。主题,Kafka可以有多个主题,并支持多个生产者和消费者订阅同一主题。分区,主题中存放多个分区,分区内消息有序,每个分区可以有多个副本。负责管理集群,如:增加、删除topic,监听broker等。生产者,将消息发布到Kafka集群的终端或客户端。消费者,从Kafka分区中取用消息的终端或服务。原创 2023-04-18 11:47:34 · 303 阅读 · 0 评论 -
【Kafka】概述
Kafka最早由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者的,基于zookeeper的消息系统,可以用于消费web日志,消息服务等。Kafka可以有多个主题(topic),且每个主题包含多个分区(partition),分区分布在不同的主机(broker)中。Kafka收发消息非常迅速,Kafka每秒可以处理几十万条消息,最低延迟只有几毫秒。Kafka采用发布-订阅模式,即:生产者往队列写消息,消费者从队列取消息。Kafka允许数据持久化到磁盘中,并支持数据备份以防止丢失。原创 2023-04-18 11:27:31 · 135 阅读 · 0 评论 -
【Kafka】生产者和消费者API开发
生产者代码中主要通过KafkaProducer类生成生产者对象,传入Properties配置的参数。通过KafkaConsumer类创建消费者对象,可以设置自动或者手动提交offset。注意send方法可以同步也可以异步,异步时需要实现Callback接口。原创 2023-04-17 15:45:29 · 503 阅读 · 0 评论 -
【Kafka】测试Kafka整合Flume
本文将会简单介绍Kafka如何整合Flume,从而实现"日志 -> Flume -> Kafka"操作环境:Kafka版本:1.0.1Flume版本:1.6.0测试前需满足以下条件:已安装Kafka和FlumeKafka已启动1. 配置Flume的conf文件vi /home/hadoop/flume-kafka.conf#2. 创建Flume的监控目录...原创 2020-04-12 00:18:45 · 267 阅读 · 0 评论 -
【Kafka】命令行管理topic
1. 创建topic[hadoop@node03 bin]$ kafka-topics.sh --create --partitions 3 --replication-factor 2 --topic test --zookeeper node01:2181,node02:2181,node03:2181Created topic "test".参数说明:partitions: 指定...原创 2020-04-11 20:32:01 · 1287 阅读 · 3 评论 -
【Kafka】Kafka安装部署
前期环境准备准备好相应的服务器本文中服务器共三台: node01,node02,node03服务器已安装zookeeper集群Kafka安装步骤下载安装包下载地址: http://kafka.apache.org/downloads上传安装包到node01的指定目录请选择合适的工具上传,过程略.解压到指定目录tar -zxvf kafka_2....原创 2020-03-15 09:08:27 · 444 阅读 · 0 评论