kafka
kafka学习记录
小瞿慢慢跑
有梦想,谁都了不起
展开
-
kafka开启JMX
kafka开启JMX原创 2022-02-18 16:56:16 · 1997 阅读 · 0 评论 -
windows 安装kafka(2.8.0)
安装jdk,配置环境变量java_home安装kafka (版本2.8.0 不需要另外下载安装zookeeper)下载kafka https://kafka.apache.org/downloads解压编辑 config目录下的server.propertieslog.dirs=C:\javasoftware\kafka\logzookeeper.connect=localhost:2181编辑 config目录下的zookeeper.propertiesdat..原创 2021-12-17 17:30:37 · 2548 阅读 · 0 评论 -
kafka消费者基本知识
消费者和消费组消费者:负责订阅kafka中的主题,并且从主题拉取消息。通过group.id来配置消费组,消费者是一个逻辑的概念,将所属的消费者归为一类。消费组:每个消费者都有一个对应的消费组,消息发布到主题后,只会投递给订阅它的每个消费组中的一个消费者。消费者不是逻辑上的概念,是实际的应用实例。分区:每个分区只能被一个消费组中一个消费者所消费,为了增加消费能力可以增加消费者,如果分区固定了,需考虑分区个数和消费者个数的关系,消费者个数不应大于分区个数,这样消费者会分配不到分区而无法消费任何原创 2021-08-28 11:32:45 · 157 阅读 · 0 评论 -
kafka服务端参数配置详解
zookeeper.connect#broker需要连接的zookeeper集群的服务地址(包括端口号),如果zookeeper集群有多个节点,则可以用逗号将每个节点连接起来,类似于localhost:8081,localhost:8082。最佳的实践方式是再加上一个chroot路径,这样既可以明确指明该chroot路径下的节点是为kafka所用,也可以实现多个kafka集群复用一套zookeeper集群,这样可以节省更多的硬件资源zookeeper.connect :=localhost:2181/k原创 2021-04-23 17:19:02 · 522 阅读 · 0 评论 -
kafka单机版基本调用demo
pom文件添加如下 <!--kafka--> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.3.0</version> </dependency>原创 2021-04-23 16:30:26 · 128 阅读 · 0 评论 -
kafka基本概念
Producer:生产者。创建消息,将其投递到kafkaConsumer:消费者。连接kafka并接受消息,进行相应的业务逻辑处理Broker:服务代理节点。可以简单地看作一个独立的kafka服务节点或kafka服务实例Topic:主题。kafka中的消息以主题为单位进行归类,生产者负责将消息发送到特定的主题,而消费者负责订阅主题并进行消费。Partition:分区。主题是一个逻辑上的概念,它可以细分成多个分区,一个分区只属于一个主题,很多时候也会把分区称为主题分区。同一主题下的不同分区包含的消息是原创 2021-04-22 11:25:34 · 120 阅读 · 0 评论 -
linux上zookeeper安装kafka安装
1.下载软件包地址:https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.5.9/apache-zookeeper-3.5.9-bin.tar.gz2.传到linux上3.解压tar -zxvfapache-zookeeper-3.5.9-bin.tar.gz原创 2021-04-20 10:06:44 · 112 阅读 · 0 评论