Kafka学习笔记
文章平均质量分 74
一直流浪~
这个作者很懒,什么都没留下…
展开
-
05、Kafka 操作命令
(1)创建主题–bootstrap-server:设置kafka执行节点–topic:主题名称–partitions:设置分区数,可以用于并发消费。–replication-factor:设置副本因子,数量不能大于kafka节点数。(2)查看主题(3)在我们配置的文件夹下,就可以看到topic对应的文件夹,其中 0,1,2,3是因为我们指定的partitions为4,创建了4个分区。原创 2024-05-10 12:42:23 · 1013 阅读 · 1 评论 -
Zookeeper集群启动报错:Cannot open channel to 2 at election address 192.168.135.1333888
报错:Cannot open channel to 2 at election address /192.168.135.133:3888。记录一个启动zookeeper集群报错,如果你的zookeeper启动失败,查看日志。是因为没有权限开启其他机器的端口,可以去开放指定端口,或者是关闭防火墙。关闭防火墙后,问题解决。原创 2024-05-10 10:33:37 · 405 阅读 · 1 评论 -
Kafka 执行命令超时异常: Timed out waiting for a node assignment
而我的环境是使用了三台虚拟机,分别部署了zookeeper和kafka,所以在没有指定的情况下,默认都是使用localhost,在执行命令的时候,会找不到对应的ip地址。由于刚学习 kafka搭建集群,根据网上教程来,教程中三台kafka都部署在同一台机器上,所以不需要额外指定kafka实力的ip地址。将三台机器的配置ip改为虚拟机ip地址。通过在zookeeper上查看节点信息,其中ip信息也改成了真实ip信息。修改保存后,再去重启kafka。原创 2024-05-10 10:33:02 · 1107 阅读 · 1 评论 -
kafka 集群搭建启动报错:java.lang.RuntimeException: Invalid cluster.id in: /usr/local/kafka_2.12-3.7.0/data/m
根本原因:server.properties和meta.perporties(kafka启动后会在日志目录下生成的配置文件)配置文件的broke.id的值不一样,在我们服务重启后机器重启因meta.properties配置文件没处理掉,所以就会报错。1、我们找到我们的server.properties配置文件的log.dirs参数的配置项,找到我们的log配置目录。就是直接手动将meta.properties的值改成server.properties的值一致。直接原因:服务器在重启后出现的问题。原创 2024-05-10 10:32:29 · 435 阅读 · 1 评论 -
04、Kafka集群安装
首先准备一台虚拟机,centos7系统,先在一台上配置安装后,最后克隆成多台机器。原创 2024-05-08 19:53:53 · 1188 阅读 · 0 评论 -
03、 Kafaka单机环境部署
(1)安装Zookeeper(2)启动zookeeper(3)安装 Kafka(4)启动Kafka–name kafka: 设置容器的名字为“kafka”。-p 9092:9092: 将容器的9092端口映射到宿主机的9092端口。–link zookeeper:zookeeper: 连接到名为“zookeeper”的另一个Docker容器,并且在当前的容器中可以通过zookeeper这个别名来访问它。原创 2024-05-06 23:52:43 · 597 阅读 · 0 评论 -
02、Kafaka 简介
Apache Kafka 是一个分布式的发布-订阅消息系统,最初由 LinkedIn 公司开发,并在 2010 年贡献给了 Apache 软件基金会,成为一个顶级开源项目。Kafka 设计之初是为了满足高吞吐量、可扩展性、持久性、容错性以及高并发的需求,它非常适合用于实时数据流的处理,包括日志聚合、事件源、流式处理等场景。Kafka 的设计思想和架构使其成为了大数据处理领域中一个非常流行的工具。原创 2024-05-06 23:51:23 · 813 阅读 · 0 评论 -
01、JMS规范介绍
JMS,全称Java Mesage Service,即Java消息服务应用程序接口,是一个Java平台中关于面向消息中间件的AP!,用于在两个应用程序之间、或者分布式系统中发送消息,进行异步通信。JMS是一种与厂商无关的API,用来访问消息、收发系统消息,它类似于JDBC。JMS可以自己使用Java代码或者别的代码来编写,开源的实现有Active MQ、阿里的Rocket MQ(已贡献给Apache)、Kafka等。原创 2024-05-06 23:50:47 · 613 阅读 · 0 评论