Kafka
文章平均质量分 67
VMware出现的问题
?abc!
努力学习,天天向上
展开
-
Kafka(14)Kafka线上问题优化(面试常问)
一:如何防⽌消息丢失防⽌消息丢失就是为了:生产者生产的消息,希望消息能够被消费者消费到从两种角度解释:消息的生产者如何保证消息尽可能的百分之百发送到kafka消息的消费者如何尽可能的消费到这条消息解决方案:3. 生产者方:ack是1或者-1/all可以防止消息丢失,如果要做到99.9999%,ack设成all,把min.insync.replicas配置成分区备份数>设置为1,说明leader是可以保证接收到消息了>设置为all的话,保证leader和flower已经完成同步原创 2022-01-27 08:43:20 · 383 阅读 · 0 评论 -
Kafka(13)Kafka集群中Controller、Rebalance和HW、LEO说明
一:ControllerController推选:Kafka集群中的broker在zk中创建临时序号节点,序号最小的节点(最先创建的节点)将作为集群的controller( 也就是说:在集群中的所有的broker启动的时候,都会去向zookeeper创建一个临时序号结点,谁最小谁就是controller)Controller的作用:负责管理整个集群中的所有分区和副本的状态:当某个分区的leader副本出现故障时,由控制器负责为该分区选举新的leader副本。(当集群中有一个副本的leader原创 2022-01-27 08:43:03 · 405 阅读 · 0 评论 -
Kafka(12)SpriongBoot中使用kafka
一:创建kfaka的spring boot项目第一步:引入依赖<dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId></dependency>第二步:编写配置文件这里面的这些配置与之前的kafka(11)中的api配置类似,基本前面说的都有出现在这里面的server: po原创 2022-01-27 08:42:40 · 300 阅读 · 0 评论 -
Kafka(11)java客户端实现,生产者和消费者的核心配置
一:生产者1.1 引入pom坐标这个版本最好还是与自己的版本一致,否则可能会出现一些不必要的错误<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.4.1</version></dependency>1.2 生产者的基本实现package co原创 2022-01-26 08:33:28 · 478 阅读 · 0 评论 -
Kafka(10)集群消息的发送和消费
一:集群消息的发送./kafka-console-producer.sh --broker-list 192.168.156.131:9092,192.168.156.131:9093,192.168.156.131:9094 --topic my-replicated-topic实际操作[root@localhost bin]# ./kafka-console-producer.sh --broker-list 192.168.156.131:9092,192.168.156.131:9093,原创 2022-01-26 08:32:56 · 1114 阅读 · 0 评论 -
解决: WARN [Producer clientId=console-producer] Connection to node -1 (localhost/127.0.0.1:9092) could
问题:WARN [Producer clientId=console-producer] Connection to node -1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)解决必须与在配置文件里面的listeners保存一致,尽管你在里面设置的是当前虚拟机的ip,我就是使用了自己虚拟机的ip,如原创 2022-01-26 08:32:42 · 8831 阅读 · 0 评论 -
Kafka(9)副本(leader、flower、isr说明)
分区(Partition):作用是分段存储kafka中的消息副本:是对分区的备份,在集群中,不同的副本会被部署在不同的broker上。一:副本概念副本是对分区的备份。在集群中,不同的副本会被部署在不同的broker上。1.1 副本实例下面例子:创建1个主题,2个分区、3个副本。./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 2 --topic my-replicat原创 2022-01-26 08:32:17 · 1789 阅读 · 0 评论 -
Kafka(8)kafka集群的搭建(三个broker)
第一步:准备三个server.properties文件调整properties文件里面的额呢绒server.propertiesbroker.id=0#当前这个节点对外提供的ip和端口listeners=PLAINTEXT://192.168.156.131:9092log.dirs=/root/kafka/data/kafka-logsserver.propertiesbroker.id=1listeners=PLAINTEXT://192.168.156.131:9093l原创 2022-01-25 08:10:42 · 598 阅读 · 0 评论 -
进入kafka本地的zookeeper
在kafka的bin目录下面,按如下操作即可# 进入zookeeper客户端[root@localhost bin]# ./zookeeper-shell.sh localhost:2181Connecting to localhost:2181Welcome to ZooKeeper!JLine support is disabledWATCHER::WatchedEvent state:SyncConnected type:None path:null# 查看客户端里面的节点信息原创 2022-01-25 08:10:18 · 1050 阅读 · 0 评论 -
Kafka(7)主题(Topic)和分区(Partition)说明
一:主题Topic主题(Topic)是kafka消息的逻辑划分,可以理解为是一个类别的名称;kafka通过topic将消息进行分类,不同的topic会被订阅该topic的消费者消费。当这个topic中的消息非常非常多,多到需要几T来存,因为消息是会被保存到log日志文件中的,这无疑是会出现一些问题。为了解决这个文件过大的问题,kafka提出了Partition分区的概念二:分区Partition2.1 概念说明图例说明:这个是对topic进行了划分,划分了三个分区(Partition),原创 2022-01-23 09:30:00 · 3532 阅读 · 0 评论 -
Kafka(6)各节点作用,消息偏移量,单播和多播,查看消费者组说明
在上一节中,说明了各个节点的基本概念,在这里将会将这些概念进行进一步的叙述(上一节是这篇博客)一:各节点的作用Broker在kafka里面就是一个数据节点Topic是一个主题,类似于一张表或ES中的index;在kafka里面没有上面数据类型的说法(来的时候就是一条一条文本数据,发出去的时候就一条一条的发出去)Partition分区,与Topic的关系是:Topic里面有多个Partitiom;Patition又分为leader partition和follower partition。kafk原创 2022-01-22 08:00:00 · 997 阅读 · 0 评论 -
Kafka(5)kafka常用命令
一:安装完kafka后,进入其bin目录[root@localhost ~]# cd kafka/kafka_2.11-2.4.1/bin/[root@localhost bin]# pwd/root/kafka/kafka_2.11-2.4.1/bin[root@localhost bin]# ls[root@localhost bin]# 二:启动zookeeper[root@localhost bin]# ./zookeeper-server-start.sh ../config/zo原创 2022-01-20 20:39:02 · 623 阅读 · 0 评论 -
报错:`zookeeper is not a recognized option`和disconnected (org.apache.kafka.clients.NetworkClient)
报错zookeeper is not a recognized option[root@localhost bin]# ./kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic userlogzookeeper is not a recognized optionOption Description原创 2022-01-21 06:00:00 · 2578 阅读 · 0 评论 -
Kafka(4)kafka概述、系统框架和术语解释(broker、Topic、Partition、Leader、Consumer等说明)
Kafka系统架构在一个Topic又三个或多个Partition组成相当于一个数据做了三个切点每一个Partition数据都是从0开始,顺序存放的。进入数据是从左往右加入的,数据是放入节点里面,Kafka叫这个节点为Broker。Leader和Follower不在同一个地方术语解释BrokerKafka集群中包含的一个或多个服务器,服务器节点称为Broker。消息中间件出来节点,一个Kafka节点就是一个broker,一个或多个Broker可以组成一个Kafka集群TopicKa原创 2022-01-20 18:18:53 · 941 阅读 · 0 评论 -
Kafka(3)Kafka概述与安装
Kafka概述Kafka是一个分布式、支持分区的(partition)、多副本的 (replica),基于zookeeper协调的分布式消息系统使用场景:日志收集:可以使用Kafka收集各种服务的log,通过kafka以统一接口服务的方式开放给各种consumer消息系统:解耦和生产者和消费者、缓存消息等。用户活动跟踪:常被用于记录web用户或者app用户的各种活动(如浏览网页、搜索、点击等活动),这些活动被服务器发布带哦Kafka的topic中,过后订阅者通过订阅这些topic来做实时的监控分原创 2022-01-20 15:54:42 · 621 阅读 · 0 评论 -
Kafka(2)消息队列
消息队列概述(MQ)之前在RabbitMQ栏目(博客)中说明过MQ,在这里做一些补充:屏蔽了底层复制的通讯协议,定义了一套更加简单的通信协议消息队列解决的问题:通信问题消息队列中间件:可以分为两个大类:Broker可以当作一个中转站有broker的MQ五Broker的MQ有Broker的MQ这个流派通常有一台服务器作为Broker,所有的消息都通过它中转。生产者把消息发送给它就结束自己的任务了,Broker则把消息主动推送给消费者(或者消费者主动轮询)比如说,去发送一原创 2022-01-20 15:54:30 · 114 阅读 · 0 评论 -
Kafka(1)异步通信原理、消息系统原理
观察者模式观察者模式(Observer),又叫发布-订阅模式(Publish/Subscribe)定义对象间一种一对多的依赖关系,使得每当一个对象改变状态,则所有依赖于它的对象都会得到通知并自动更新。一个对象(目标对象)的状态发生改变,所有的依赖对象(观察者对象)都将得到通知。现实中的场景购物网站的到货通知生产者消费者模式传统模式生产者直接将消息传递给指定的消费者生产者为什么不是消息直接传递给消费者,有以下原因:耦合性太高生产者生产的速度和消费者消费的速度有可能不同步(生产原创 2021-12-23 14:43:11 · 285 阅读 · 0 评论