Kafka
文章平均质量分 79
Kafka专题
扛麻袋的少年
得过且过,一天又一天
展开
-
1.Kafka的基本介绍
1.什么是 Kafka ①Apache Kafka是一个开源的分布式消息发布和订阅系统,由Scala语言开发。是由Apache软件基金会开发的一个开源消息系统项目。 ②Kafka最初是由LinkedIn开发,并于2011年初开源。2012年10月从Apache Incubator毕业。Kafka具有高性能、高吞吐量的特点而被广泛应用于大数据传输场景(据说一秒钟能达到 ...原创 2019-08-29 21:48:48 · 1726 阅读 · 0 评论 -
2.Kafka集群的安装
Kafka版本:kafka_2.12-2.1.1.tgz jdk版本:JDK1.8以上版本号解释:Scala版本号:2.12 Kafka版本号:2.1.1Kafka集群安装步骤:1.下载安装包 wget https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.1.1/kafka_2.12-2.1.1.tgz2...原创 2019-08-29 23:29:41 · 1561 阅读 · 0 评论 -
3.Kafka常用命令
1、查看当前服务器中的所有topicbin/kafka-topics.sh --list --zookeeper zk01:21812、创建topicbin/kafka-topics.sh --create --zookeeper zk01:2181 --replication-factor 2 --partitions 3 --topic orderMq备注: replication-factor 备份数(2个备份) partitions 3 kafka分区数(3个分区)原创 2021-08-06 15:03:39 · 872 阅读 · 0 评论 -
4.Kafka Demo && 调优参数属性介绍
引入Maven依赖<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.3.0</version></dependency>...原创 2019-09-09 10:36:32 · 1363 阅读 · 1 评论 -
5.【基于XML方式】Spring整合Kafka
1.引入Maven依赖<!-- 添加spring-kafka支持 --><dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>2...原创 2019-09-09 16:36:48 · 2038 阅读 · 5 评论 -
6.【基于注解方式】Spring整合Kafka
1.添加Maven依赖<!-- 添加spring-kafka支持 --><dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>2...原创 2019-09-10 17:38:04 · 1885 阅读 · 0 评论 -
7.SpringBoot整合Kafka
1.引入Maven依赖<!-- springboot整合kafka --><dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>...原创 2019-09-10 15:17:38 · 1371 阅读 · 0 评论 -
8.解析Kafka中的 Topic 和 Partition
目录1.什么是Topic2.什么是Partition3.Topic 和 Partition 的存储4.producer消息分发策略5.消费者如何消费指定分区消息 1.什么是Topic Kafka 和 ActiveMQ一样,都是非常优秀的消息订阅/发送的中间件。在 ActiveMQ 中,我们知道它有 Queue 和 Topic 的概念,但是在 Kafk...原创 2019-09-12 15:17:17 · 23519 阅读 · 5 评论 -
9.Kafka 分区分配策略(Range分配策略 && RoundRobin分配策略)
前言 在 Kafka 实际生产过程中,每个 topic 都会有 多个 partitions。 1.多个Partitions有什么好处? ①多个 partition ,能够对 broker 上的数据进行分片,通过减少消息容量来提升 IO 性能; ②为了提高消费端的消费能力,一般情况下会通过多个 conusmer 去消费 同一个 topic 中的消息,即实现消费端的...原创 2019-09-12 17:49:16 · 15365 阅读 · 14 评论 -
10.Kafka ---- 重新负载Rebalance过程
1.什么是Rebalance重新负载? Rebalance,即对 Kafka 中的分区进行重新分配的过程。如需详细了解 Kafka 的分区分配策略,请点击链接跳转了解更多:8.Kafka 分区分配策略2.什么时候触发Rebalance操作 当出现以下几种情况时,Kafka 会进行一次重新分区分配操作,即 Kafka 消费者端的 Rebalance 操作①...原创 2019-09-14 21:11:06 · 2204 阅读 · 3 评论 -
11.Kafka 消息存储基本介绍【顺序存储 & 零拷贝】
通过之前文章的介绍: 7.解析 Kafka 中的 Topic 和 Partition 8.Kafka 分区分配策略 9.Kafka ---- 重新负载Rebalance过程 我们已经了解了 ①Kafka 中 Topic 和 Partition 的概念 ②Kafka 分区在集群中是如何分配的 ③Kafka...原创 2019-09-15 13:48:09 · 1686 阅读 · 2 评论 -
12.Kafka 的零拷贝技术
目录1.传统拷贝过程2.DMA 技术的出现3.零拷贝技术4.Java零拷贝的实现在上一篇博文 10.Kafka 消息存储中我们了解了 Kafka 内部消息是如何进行存储的。其中一个原因是 Kafka 的顺序写入机制,另外一个原因就是零拷贝(zero-copy)技术,这也是使用 Kafka 性能高的根本所在。接下来让我们简单来了解一下 Kafka 的零拷贝技术1.传统拷贝...原创 2019-09-15 16:08:27 · 5793 阅读 · 3 评论