2.20Kafka

最新推荐文章于 2022-10-19 09:01:34 发布
最新推荐文章于 2022-10-19 09:01:34 发布
阅读量174 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44594263/article/details/113586136
版权

流式数据处理

# Kafka

是一个消息队列,同时具备拓展功能(海量数据存储,海量数据流式处理)
activemq(6k) rabbitmq(1.2w) rocketMQ(3-5w) 理论上来讲避免了数据丢失的问题.
kafka(25-50w) 有数据丢失的可能,所以只能用于大数据,或者对数据一致性要求不高的业务中. 亿分之几
kafka只有一种模式:发布/订阅(与rabbitmq不一样)

Kafka
消息队列
海量数据存储
流式数据处理

重要概念

broker: kafka中所有的服务器节点都叫做broker. 编号规则为 从0开始的整型数字.

topic: 在kafka中,可能同时为多个项目或者业务提供消息队列的服务,也就是说会同时连接多个生产者和多个消费者.那么为了避免不同业务数据交叉,设置了主题来分别保存不同业务的数据.来进行隔离.

partition: 在主题的内部,又进行了进一步的细分,就是所谓的分区. 在一个独立的主题内部,如果业务上还有细分的话,可以将不同业务的数据存放在不同的分区. 同时,一个主题中包含多个分区,每个分区存放在不同的服务器上,本身也是一种负载均衡的体现.

leader和follower: 在分区内部,每个分区还会在其他的服务器上对数据进行备份.备份出来的数据,被称为follower 原本的分区叫做leader. 所有写入和消费数据的操作全部由leader完成.follower只负责实时同步leader的数据变化.只有leader宕机之后才会在follower中进行选举,选出新的leader保证服务可用.

ConsumerGroup: 在消费者订阅消息时,需要以组的形式来注册offset.如果该消费者需要消费所有数据,那么自己注册一个组.如果多个消费者负载均衡分摊一份数据,那么可以将这几个消费者注册为一组.

log: 在kafka中非常特殊,表示的并不是日志,而是kafka存储的数据,生产者将数据写入kafka后以event的形式封装,在kafka内部叫做log

队列

队列：队列中的数据一旦被消费者消费成功，就会被清除出队列，目的是为了保证数据不会被重复消费。（删除一个去掉一个）
优点：天然支持多个消费者之间的负载均衡
缺点：不能实现多个消费者同时需要消费全量数据（数据库里面包含了1，2，3。如果消费者c1消耗了1，那么消费者c2进来只能消费2）

发布订阅

发布订阅：数据被消费者消费之后并不会直接删除，而是保留一段时间，同一个消费者以偏移量的记录来保证自己不会重复消费数据。

缺点：不适合做多个消费者之间的负载均衡
优点：适合多个消费者需要同时消费 全量数据的场景。由于消费的进度是由offset控制的，所以我们可以通过修改offset的值来控制消费者跳跃消费或者重新消费。
在这里插入图片描述

在这里插入图片描述生产者通过生产者客户端去注册，然后生产者客户端将具体的数据保存在服务器上。
如果有两个生产者，JT生产者和DB生产者。利用topic来区分不同的业务。如果在区分JT里面的子业务，需要跨服务器来操作，利用parition分区存放。如图：
在这里插入图片描述这个图的大概意思就是

生产者通过生产者客户端去注册，然后生产者客户端将具体的数据保存在服务器上。如果有两个生产者，JT生产者和DB生产者。利用topic来区分不同的业务。如果在区分JT里面的子业务，需要跨服务器来操作，利用parition分区存放。leader代表的是主机（所有的工作在这个里面进行），follower代表就是从机（主要就是进行备份的）类似于主从复制。三个颜色深的如果出现故障的话，会由从机接替工作。

Kafka和zookeeper的安装和测试

基础环境: JDK(Scala开发java的衍生语言,编译.class,在jvm上运行),zookeeper支持.

zookeeper安装步骤如下：

1.解压文件
在这里插入图片描述
2.在这里插入图片描述3.在这里插入图片描述4.在这里插入图片描述

Kafka安装步骤

在这里插入图片描述
2.
在这里插入图片描述3.
在这里插入图片描述4.启动

cd /home/app/kafka_2.13-2.4.1

bin/kafka-server-start.sh config/server.properties &

在这里插入图片描述在这里插入图片描述创建主题

创建主题flux

bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic flux

参数说明：
–create: 要创建主题
–replication-factor：副本个数
–partitions：主题分区存储，分区的个数
–topic：主题名(唯一，不能重复)
可以使用 --list 命令查看所有topic
bin/kafka-topics.sh --list --bootstrap-server localhost:9092

生产者

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic flux

消费者

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic flux --from-beginning

参数说明：
–from-beginning 是表示从头开始消费消息
If the consumer does not already have an established offset to consume from, start with the earliest message present in the log rather than the latest message.
消息已经永久保存在kafka集群了，从头消费或是从当前时间消费都可以。

实现效果

在这里插入图片描述

Kafka整合flink

创建一个maven工程（java）
在这里插入图片描述
导入pom文件

<dependencies>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>3.8.1</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-java</artifactId>
<version>1.11.0</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.flink/flink-core -->
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-core</artifactId>
<version>1.11.0</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.flink/flink-streaming-java -->
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-streaming-java_2.12</artifactId>
<version>1.11.0</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.flink/flink-clients -->
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-clients_2.12</artifactId>
<version>1.11.0</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-connector-kafka_2.11</artifactId>
<version>1.11.0</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.flink/flink-connector-kafka-base -->
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-connector-kafka-base_2.11</artifactId>
<version>1.11.0</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients -->
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>2.2.0</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-avro</artifactId>
<version>1.11.0</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-hadoop-compatibility_2.12</artifactId>
<version>1.11.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.7.1</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-connector-jdbc_2.11</artifactId>
<version>1.11.0</version>
</dependency>
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>5.1.27</version>
</dependency>
</dependencies>

整合kafka+flink
在这里插入图片描述按照上述步骤把kafka在启动即可

weixin_44594263
关注
kafka(卡夫卡)2.20版本jar包
04-04
之前一直在找kafka的java依赖的jar包，但是苦于版本都比较低。后来找到了新版的2.2.0，分享一下，送个生产者的Demo 注意要用JDK1.8.....1积分意思一下
log4jappender配置kafka使用的jar包
09-08
3. **特定的Log4j-Kafka适配器**：为了使Log4j能够与Kafka进行通信，还需要一个中间件库，比如`log4j-kafka-appender.jar`或`log4j-appender-kafka-*.jar`，具体取决于你选择的实现。 在实际项目中，你可能需要将...
CentOS 7.2 64位 安装和启动2.12-2.20kafka初级教程
minyunfei6的博客
08-05 144
环境:jdk1.8 zk:3.45 文件下载路径: zk和kafka jdk 下载、解压、安装 我的是放在了usr/local下 第一步:配置jdk环境变量 vim /etc/profile #set java environment JAVA_HOME=/usr/local/jdk1.8.0_171 CLASSPATH=....
Apache Kafka 入门 - Kafka命令详细介绍
热门推荐
偶尔记一下 - mybatis.io
06-25 4万+
Apache Kafka 入门Apache Kafka 入门大概分为5篇博客，内容都比较基础，计划包含以下内容： Kafka的基本配置和运行 Kafka命令行详细介绍 Kafka-manager的基本配置和运行 Kafka API 简单用法 Spring Boot 集成Kafka Kafka支持Linux和WIndows环境，本文运行环境使用Linux（CentOS）。本篇为第二篇。Kafka命令行
kafka性能测试工具使用过程中的各种小情况
漾漾
05-09 2587
一、kafka性能测试工具–help 本次使用的kafka版本是 kafka 2.2.0 kafka-producer-perf-test.sh --help
Apache Storm：如何使用Flux配置KafkaBolt
最佳 Java 编程
06-02 308
微型框架中的助焊剂可以帮助我们定义和部署Storm拓扑。 Flux有各种包装器，可帮助您定义所需的流并初始化Bolts和Spouts（使用带有或不带有参数的构造函数，并通过反射自动调用自定义配置方法）。 您只需要使用Flux，就是将其作为依赖项添加到“ pom.xml”中，通过单个YAML文件进行配置（请查看flux示例 ），然后将其用作主类，以在Storm集群中部署拓扑（或作为本地...
基于Kafka的管理系统源码.zip
05-08
基于Kafka的管理系统源码 基于Kafka的管理系统源码 基于Kafka的管理系统源码 基于Kafka的管理系统源码 基于Kafka的管理系统源码 基于Kafka的管理系统源码 基于Kafka的管理系统源码 基于Kafka的管理系统源码 ...
Linux下Kafka分布式集群安装教程
09-15
host.name=192.168.2.20 # 日志数据保存的目录 log.dirs=/usr/local/kafka/kafka-logs log.retention.hours=168 # 每条消息能够容纳的最大大小,默认1000012 message.max.bytes=5242880 # 默认的副本因子,即...
Spark2.20源码
10-31
它可以接收多种数据源如Kafka、Flume等，并且可以与Spark的其他模块无缝集成。 4. **Spark MLlib and ML**：这两个库是Spark的机器学习框架。MLlib主要面向初学者和简单应用，提供了大量机器学习算法，如分类、回归...
Kafka中shell命令使用（创建、查看、修改和删除Topic，模拟创建生产者和消费者）
最新发布
IT之一小佬的博客
10-19 5800
Kafka中shell命令使用（创建、查看、修改和删除Topic，模拟创建生产者和消费者）
server-sent-events:使用Spring WebFlux框架和React式Kafka的WebFlux服务器，该服务器公开了REST API，以使客户端发出安全的HTTP请求。 在客户端和Web Flow服务器之间建立安全连接后，除非有必要，否则它将使用来自Kafka主题的消息并异步推送数据，而无需关闭与客户端的连接
05-20
服务器发送事件 使用Spring WebFlux框架和React式Kafka的WebFlux服务器，该服务器公开了REST API，以使客户端发出安全的HTTP请求。 一旦在客户端和Web Flow服务器之间建立了安全连接，除非有必要，否则它将使用来自Kafka主题的消息并异步推送数据，而无需关闭与客户端的连接。 使用Reactive Kafka看一下Spring WebFlux上的这个。
Kafka-安装和使用
04-28 2191
一、下载安装包 1、选择所需版本下载 [root@ywxtdb opt]# wget https://archive.apache.org/dist/kafka/2.1.0/kafka_2.12-2.1.0.tgz 2、解压安装包 [root@ywxtdb opt]# tar -xvf kafka_2.12-2.1.0.tgz 二、修改配置 [root@ywxtdb config]# vi /opt/kafka_2.12-2.1.0/config/server.properties
kafka消费者命令行的使用方法
weixin_34314962的博客
07-16 380
2019独角兽企业重金招聘Python工程师标准>>> ...
通过Spring Boot Webflux实现Reactor Kafka
weixin_34238642的博客
04-24 327
在Apache Kafka简介中，我们研究了分布式流媒体平台Apache Kafka。这一次，我们将关注Reactor Kafka，这个库可以创建从Project Reactor到Kafka Topics的Reactive Streams，反之亦然。 我们将使用两个小型示例应用程序，Paymentprocessor Gateway和PaymentValidator。这些应用程序的代码可以在这里找到...
kafka_2.12-2.1.1 + jdk8
snetlogon20的博客
04-07 1149
听说 kafka_2.12-2.1.1 一定要搭配jdk8使用哦。 不然就是起不来。
kafka性能测试之Comsumer
跋跋寒的博客
08-16 7231
接下来看看消费者的性能测试 [root@hadoop-sh1-core1 bin]# ./kafka-consumer-perf-test.sh --help Missing required argument "[topic]" Option Description -...
Kafka整合WebFlux
周先生丶的博客
07-22 1118
1、引入依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-webflux</artifactId> </dependency> <dependency> <groupId>io.projectreactor.kafka</groupId>
[Kafka]命令行操作
从前有座无庙山
11-12 1347
上篇文章[Kafka]安装与部署中，搭建了一个三节点的Kafka集群环境。 这篇文章来谈谈如何使用命令行操作集群。 topic创建 创建一个名为test01的topic bin/kafka-topics.sh \ --create \ --zookeeper 192.168.133.13:2181,192.168.133.14:2181,192.168.133.15:2181 \ --repl...
很到位！原来这才是Kafka的“真面目”
weixin_34366546的博客
01-22 930
2019独角兽企业重金招聘Python工程师标准>>> ...
Kafka安装与配置指南
"该资源是关于Kafka的安装与配置指南，主要针对海量数据管理的实验，涵盖了Kafka的基础安装步骤、配置文件修改以及异常处理的初步介绍。实验中涉及了Kafka与其他系统的连接，例如通过Kafka Connect实现与MySQL和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值