![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
消息队列——Kafka
将Kafka作为消息队列
asadsfasfasdfas
这个作者很懒,什么都没留下…
展开
-
09.集群
Kafka集群简介Kafka天然支持集群Kafka主要通过brokerId区分不同节点Docker-Compose部署Kafka集群version: '3'services: zoo1: image: zookeeper:3.5.5 hostname: zoo1 ports: - "2181:2181" container_name: zoo1 kafka1: image: wurstmeister/kafka ports:原创 2020-10-25 19:40:57 · 72 阅读 · 0 评论 -
06.Java整合Kafka
五种客户端Producer负责发送消息Consumer负责消费消息Streams高效的将输入流转换到输出流Connect从一些源系统或应用程序中拉取数据到KafkaAdmin负责管理和检测Topic和broker以及其他Kafka对象依赖<!--这个依赖包括Admin,producer,consumer客户端--><dependency> <groupId>org.apache.kafka</groupId> <ar原创 2020-10-22 13:21:57 · 437 阅读 · 0 评论 -
07.生产者
分区策略什么是分区策略所谓分区策略是决定生产者将消息发送到哪个分区的算法(可以理解为负载均衡算法)。在Java中如何自定义分区策略写一个类实现这个接口org.apache.kafka.clients.producer.Partitioner实现partition方法修改producer.properties文件中的partitioner.class配置项为实现类的全限定名分区策略——轮询策略(默认的)轮询策略是 Kafka Java 生产者API 默认提供的分区策略。如果你未指定part原创 2020-10-21 18:56:08 · 99 阅读 · 0 评论 -
05.Kafka配置文件详解
Broker#这是非常重要的参数,指定了 Broker 需要使用的若干个文件目录路径。要知道这个参数是没有默认值的,这说明什么?这说明它必须由你亲自指定log.dirs=例如: /home/kafka1,/home/kafka2,/home/kafka3#注意这是 dir,结尾没有 s,说明它只能表示单个路径,它是补充上一个参数用的。(使用上个即可)log.dirZK相关#连接ZK的地址,CSV格式zookeeper.connect=例如: zk1:2181,zk2:2181,zk3:218原创 2020-10-21 13:35:51 · 279 阅读 · 0 评论 -
04.Kafka常见命令
#启动ZK并指定配置文件bin/zookeeper-server-start.sh config/zookeeper.properties#启动Kafka并指定配置文件bin/kafka-server-start.sh config/server.properties#停止Kafkabin/kafka-server-stop.sh#创建一个名为test的主题(只有一个分区一个副本)bin/kafka-topics.sh --create --bootstrap-server localhost原创 2020-10-20 20:23:05 · 107 阅读 · 0 评论 -
03.Kafka的安装
docker hub——https://hub.docker.com/r/wurstmeister/kafkaDocker-Compose部署单节点Kafkaversion: '2'services: kafka1: image: wurstmeister/kafka:2.12-2.4.0 ports: - "9092:9092" environment: #宿主机IP KAFKA_ADVERTISED_HOST_NAME: 192.16原创 2020-10-20 20:22:01 · 83 阅读 · 0 评论 -
02.Kafka基本概念详解
Kafka的基本概念Broker:Kafka集群包含一个或多个服务器,这种服务器被称为broker。broker端不维护数据的消费状态,提升了性能。直接使用磁盘进行存储,线性读写,速度快:避免了数据在JVM内存和系统内存之间的复制,减少耗性能的创建对象和垃圾回收。Producer:负责发布消息到Kafka brokerConsumer:消息消费者,向Kafka broker读取消息的客户端,consumer从broker拉取(注意是拉去不是broker推送)数据并进行处理。Consu原创 2020-10-20 20:18:51 · 331 阅读 · 1 评论 -
01.Kafka介绍
Kafka官方文档——http://kafka.apache.org/documentation/什么是Kafkakafka是分布式流平台,它具有很多功能,这篇文章中我们把它当做消息队列(Kafka使用ZooKeeper作为分布式协调)Kafka可以当做三个角色消息系统(消息队列)存储系统流式处理平台Kafka的架构一个典型的kafka集群包含若干Producer(可以是应用节点产生的消息,也可以是通过Flume收集日志产生的事件),若干个Broker(kafka支持水平扩展)、若干个原创 2020-10-20 20:15:43 · 92 阅读 · 0 评论