Kafka
关注
分享
扫一扫
Ai之家-开箱测评
这个作者很懒，什么都没留下…
展开
-
kafka消费者无法消费(读取offset文件IO异常)
异常信息 ERROR [ReplicaManager broker=2] Error while making broker the leader for partition Topic: __consumer_offsets; Partition: 41; Leader: None; AssignedReplicas: ; InSyncReplicas: in dir None (kafka...原创 2020-04-01 10:16:14 · 2179 阅读 · 0 评论 -
kafka必背的知识点
1.什么是kafka是一个分布式，多分区的，多副本的，多订阅者的消息发布订阅系统。2、kafka的使用场景应用耦合异步处理限流削峰消息驱动的系统3.kafka优缺点优点：可靠性强（分布式-分区-副本）、扩展性强（可伸缩）、性能高（数据读写）、耐用性强（数据持久化）、时效性强。 缺点：由于是批量发送，数据并非真正的实时。 ...原创 2020-03-24 06:29:48 · 364 阅读 · 0 评论 -
一张图来分析kafka必备的知识点
kafka知识点汇总这张图中包含的知识点:1、Kafka生态系统四大角色，生产者(Producer)、kafka集群(Broker)、消费者(Consumer)、zookeeper2、每个消费者都必须属于一个消费组，一个组内的消费者可以多个。3、一个Topic可以有0到多个多个分区（Partition）4、一个分区可以有0到多个segment。5、每个segment可以有由一个log...原创 2020-03-23 15:49:16 · 4247 阅读 · 0 评论 -
kafka消息不丢失制
1、生产者生产数据不丢失1.1、生产者数据不丢失过程图说明：有多少个分区，就启动多少个线程来进行同步数据1.2、发送数据方式可以采用同步或者异步的方式-过程图可以采用同步或者异步的方式同步：发送一批数据给kafka后，等待kafka返回结果1、生产者等待10s，如果broker没有给出ack相应，就认为失败。2、生产者重试3次，如果还没有相应，就报错异步：发送一批数据给k...原创 2020-03-23 15:47:09 · 4183 阅读 · 0 评论 -
kafka的log-存储机制
1、kafka中log日志目录及组成kafka在我们指定的log.dir目录下，会创建一些文件夹；名字是【主题名字-分区名】所组成的文件夹。 在【主题名字-分区名】的目录下，会有两个文件存在，如下所示：#索引文件00000000000000000000.index#日志内容0000000000000000000.log在目录下的文件，会根据log日志的大小进行切分，.log文件的大小...原创 2020-03-23 15:44:19 · 4288 阅读 · 0 评论 -
kafka的JavaAPI操作
1、创建maven工程并添加jar包创建maven工程并添加以下依赖jar包的坐标到pom.xml<dependencies><!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients --><dependency> <groupId>org.apach...原创 2020-03-23 15:39:26 · 4315 阅读 · 0 评论 -
kafka集群基本操作
1、创建topic创建一个名字为test的主题， 有三个分区，有两个副本node09执行以下命令来创建topic cd /export/servers/kafka_2.11-1.0.0bin/kafka-topics.sh --create --zookeeper node09:2181 --replication-factor 2 --partitions 3 --topic test...原创 2020-03-23 15:31:55 · 240 阅读 · 0 评论 -
Kafka集群搭建
1、初始化环境准备安装jdk，安装zookeeper并保证zk服务正常启动2、下载安装包并上传解压通过以下地址进行下载安装包node09执行以下命令，下载并解压cd /export/softwareswget http://archive.apache.org/dist/kafka/1.0.0/kafka_2.11-1.0.0.tgztar –zxvf kafka...原创 2020-03-23 15:29:11 · 4151 阅读 · 0 评论 -
kafka主要组件说明
1、kafka当中的producer说明producer主要是用于生产消息，是kafka当中的消息生产者，生产的消息通过topic进行归类，保存到kafka的broker里面去2、kafka当中的topic说明1、kafka将消息以topic为单位进行归类2、topic特指kafka处理的消息源（feeds of messages）的不同分类。3、topic是一种分类或者...原创 2020-03-23 15:26:01 · 4229 阅读 · 0 评论 -
kafka的架构介绍
1、生产者API允许应用程序发布记录流至一个或者多个kafka的主题（topics）。2、消费者API允许应用程序订阅一个或者多个主题，并处理这些主题接收到的记录流。3、StreamsAPI允许应用程序充当流处理器（streamprocessor），从一个或者多个主题获取输入流，并生产一个输出流到一个或者多个主题，能够有效的变化输入流为输出流。4、ConnectAP...原创 2020-03-23 15:23:00 · 4468 阅读 · 0 评论 -
kafka的基本介绍
1、kafka的基本介绍官网：http://kafka.apache.org/kafka是一个分布式，分区的，多副本的，多订阅者的消息发布订阅系统（分布式MQ系统），可以用于搜索日志，监控日志，访问日志等。最初由linkedin公司开发，使用scala语言编写。Kafka is a distributed,partitioned,replicated commit lo...原创 2020-03-23 15:21:05 · 4308 阅读 · 0 评论 -
一张贴告诉你什么是消息队列
1、消息队列的介绍消息（Message）：是指在应用之间传送的数据，消息可以非常简单，比如只包含文本字符串，也可以更复杂，可能包含嵌入对象。消息队列（Message Queue）：是一种应用间的通信方式，消息发送后可以立即返回，由消息系统来确保信息的可靠专递，消息发布者只管把消息发布到MQ中而不管谁来取，消息使用者只管从MQ中取消息而不管谁发布的，这样发布者和使用者都不用知道对方的存在...原创 2020-03-23 15:20:21 · 4218 阅读 · 0 评论