![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
依旧ฅ=ฅ
想去的地方很远 想买的东西很贵 想守护的东西很美好 所以选择努力
展开
-
kafka自定义分区API
导入pom文件<dependencies> <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients --> <dependency> <groupId>org.apache.kaf...原创 2020-04-10 10:31:11 · 3691 阅读 · 0 评论 -
kafka简答题
kafka工作流程Kafka生态系统四大角色,生产者(Producer)、kafka集群(Broker)、消费者(Consumer)、zookeeper 每个消费者都必须属于一个消费组,一个组内的消费者可以多个。 一个Topic可以有1到多个多个分区(Partition) 一个分区可以有1到多个segment。 每个segment可以有由一个log和一个index组成。 被复制的...原创 2020-04-09 14:35:47 · 3863 阅读 · 0 评论 -
kafka监控及运维(监控管理工具kafka-eagle)
kafka-eagle概述为了简化开发者和服务工程师维护Kafka集群的工作有一个监控管理工具,叫做 Kafka-eagle。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时,这个管理工具也是一个非常好的可以快速浏览这个集群的工具环境和安装环境要求需要安装...原创 2020-04-09 14:02:35 · 4616 阅读 · 0 评论 -
kafka消息不丢失制(ack机制)
一、生产者生产数据不丢失1、生产者数据不丢失过程图说明:有多少个分区,就启动多少个线程来进行同步数据2、 发送数据方式可以采用同步或者异步的方式-过程图可以采用同步或者异步的方式同步:发送一批数据给kafka后,等待kafka返回结果1、生产者等待10s,如果broker没有给出ack相应,就认为失败。2、生产者重试3次,如果还没有相应,就报错...原创 2020-04-09 13:58:00 · 7734 阅读 · 0 评论 -
kafka的log-存储机制
kafka中log日志目录及组成kafka在我们指定的log.dir目录下,会创建一些文件夹;名字是【主题名字-分区名】所组成的文件夹。 在【主题名字-分区名】的目录下,会有两个文件存在,如下所示:在目录下的文件,会根据log日志的大小进行切分,.log文件的大小为1G的时候,就会进行切分文件;在kafka的设计中,将offset值作为了文件名的一部分比如:topic的名字...原创 2020-04-09 13:51:06 · 4724 阅读 · 0 评论 -
kafka的JavaAPI操作
一、创建maven工程并添加jar包创建maven工程并添加以下依赖jar包的坐标到pom.xml<dependencies><!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients --><dependency> <groupId>org.ap...原创 2020-04-09 13:44:00 · 4358 阅读 · 0 评论 -
Kafka集群操作
一、创建topic创建一个名字为test的主题, 有三个分区,有两个副本node01执行以下命令来创建topic cd /export/servers/kafka_2.11-1.0.0bin/kafka-topics.sh --create --zookeeper node01:2181 --replication-factor 2 --partitions 3 --topic ...原创 2020-04-09 13:07:20 · 3607 阅读 · 0 评论 -
kafka集群环境搭建
1、初始化环境准备安装jdk,安装zookeeper并保证zk服务正常启动2、下载安装包并上传解压通过以下地址进行下载安装包node01执行以下命令,下载并解压cd /export/softwareswget http://archive.apache.org/dist/kafka/1.0.0/kafka_2.11-1.0.0.tgztar -zxvf kafka_2.11-1...原创 2020-04-09 13:03:29 · 3640 阅读 · 0 评论 -
kafka主要组件
一、kafka当中的producer说明producer主要是用于生产消息,是kafka当中的消息生产者,生产的消息通过topic进行归类,保存到kafka的broker里面去二、kafka当中的topic说明kafka将消息以topic为单位进行归类 topic特指kafka处理的消息源(feeds of messages)的不同分类。 topic是一种分类或者发布的一些列...原创 2020-04-09 12:57:49 · 4767 阅读 · 0 评论 -
kafka的基本介绍、架构
一、kafka的基本介绍官网:http://kafka.apache.org/kafka是一个分布式,分区的,多副本的,多订阅者的消息发布订阅系统(分布式MQ系统),可以用于搜索日志,监控日志,访问日志等。最初由linkedin公司开发,使用scala语言编写,Kafka is a distributed,partitioned,replicated commit logservice。...原创 2020-04-09 12:41:14 · 4111 阅读 · 0 评论 -
消息队列
1、消息队列的介绍消息(Message):是指在应用之间传送的数据,消息可以非常简单,比如只包含文本字符串,也可以更复杂,可能包含嵌入对象。消息队列(Message Queue):是一种应用间的通信方式,消息发送后可以立即返回,由消息系统来确保信息的可靠专递,消息发布者只管把消息发布到MQ中而不管谁来取,消息使用者只管从MQ中取消息而不管谁发布的,这样发布者和使用者都不用知道对方的存在...原创 2020-04-09 12:30:11 · 3837 阅读 · 0 评论