大数据——Kafka Stream窗口操作

最新推荐文章于 2024-06-29 07:47:50 发布
最新推荐文章于 2024-06-29 07:47:50 发布
阅读量682 收藏 3
点赞数
文章标签： kafka stream 大数据 窗口 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dsjia2970727/article/details/111773032
版权

Kafka Stream窗口操作

Kafka Stream窗口

Hopping Time Window

  • 编写Java类
package nj.zb.kb09.kafka;

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.common.protocol.types.Field;
import org.apache.kafka.common.serialization.Serdes;
import org.apache.kafka.streams.*;
import org.apache.kafka.streams.kstream.KStream;
import org.apache.kafka.streams.kstream.SessionWindows;
import org.apache.kafka.streams.kstream.TimeWindows;

import java.time.Duration;
import java.util.Arrays;
import java.util.Properties;
import java.util.concurrent.CountDownLatch;

public class windowStream {
	public static void main(String[] args) {
		Properties prop = new Properties();
		prop.put(StreamsConfig.APPLICATION_ID_CONFIG, "windowStream1");
		prop.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.136.100:9092");
		prop.put(StreamsConfig.COMMIT_INTERVAL_MS_CONFIG, 3000);
		prop.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
		prop.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "false");
		prop.put(StreamsConfig.DEFAULT_KEY_SERDE_CLASS_CONFIG, Serdes.String().getClass());
		prop.put(StreamsConfig.DEFAULT_VALUE_SERDE_CLASS_CONFIG, Serdes.String().getClass());

		StreamsBuilder builder = new StreamsBuilder();


		KStream<Object, Object> source = builder.stream("windowdemo");
		source.flatMapValues(value-> Arrays.asList(value.toString().split("\\s+")))
				.map((x,y)->
				{
					return new KeyValue<String,String>(y,"1");
				}).groupByKey()
				
				//Hopping Time Window
				.windowedBy(TimeWindows.of(Duration.ofSeconds(5).toMillis()).advanceBy(Duration.ofSeconds(2).toMillis()))
				.count().toStream().foreach((x,y)->{
			System.out.println("x:"+x+" y:"+y);
		});



		final Topology topo = builder.build();
		final KafkaStreams streams = new KafkaStreams(topo,prop);

		final CountDownLatch latch = new CountDownLatch(1);
		Runtime.getRuntime().addShutdownHook(new Thread("stream"){
			@Override
			public void run() {
				streams.close();
				latch.countDown();
			}
		});
		streams.start();
		try {
			latch.await();
		} catch (InterruptedException e) {
			e.printStackTrace();
		}

		System.exit(0);
	}
}
  • 运行Java进程
  • 根据编写的Java类创建topic
[root@hadoop100 ~]# kafka-topics.sh --zookeeper 192.168.136.100:2181 --create --topic windowdemo --partitions 1 --replication-factor 1
  • 在windowdemo队列创建生产者信息
[root@hadoop100 opt]# kafka-console-producer.sh --topic windowdemo --broker-list 192.168.136.100:9092
  • 在windowdemo生产消息
hello java
hello world
  • 对应的也在windowdemo消费到了消息
    在这里插入图片描述

Tumbling Time Window

  • 编写Java类
package nj.zb.kb09.kafka;

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.common.protocol.types.Field;
import org.apache.kafka.common.serialization.Serdes;
import org.apache.kafka.streams.*;
import org.apache.kafka.streams.kstream.KStream;
import org.apache.kafka.streams.kstream.SessionWindows;
import org.apache.kafka.streams.kstream.TimeWindows;

import java.time.Duration;
import java.util.Arrays;
import java.util.Properties;
import java.util.concurrent.CountDownLatch;

public class windowStream {
	public static void main(String[] args) {
		Properties prop = new Properties();
		prop.put(StreamsConfig.APPLICATION_ID_CONFIG, "windowStream2");
		prop.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.136.100:9092");
		prop.put(StreamsConfig.COMMIT_INTERVAL_MS_CONFIG, 3000);
		prop.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
		prop.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "false");
		prop.put(StreamsConfig.DEFAULT_KEY_SERDE_CLASS_CONFIG, Serdes.String().getClass());
		prop.put(StreamsConfig.DEFAULT_VALUE_SERDE_CLASS_CONFIG, Serdes.String().getClass());

		StreamsBuilder builder = new StreamsBuilder();


		KStream<Object, Object> source = builder.stream("windowdemo");
		source.flatMapValues(value-> Arrays.asList(value.toString().split("\\s+")))
				.map((x,y)->
				{
					return new KeyValue<String,String>(y,"1");
				}).groupByKey()
				//Tumbling Time Window
				.windowedBy(TimeWindows.of(Duration.ofSeconds(5).toMillis()))
				.count().toStream().foreach((x,y)->{
			System.out.println("x:"+x+" y:"+y);
		});



		final Topology topo = builder.build();
		final KafkaStreams streams = new KafkaStreams(topo,prop);

		final CountDownLatch latch = new CountDownLatch(1);
		Runtime.getRuntime().addShutdownHook(new Thread("stream"){
			@Override
			public void run() {
				streams.close();
				latch.countDown();
			}
		});
		streams.start();
		try {
			latch.await();
		} catch (InterruptedException e) {
			e.printStackTrace();
		}

		System.exit(0);
	}
}
  • 运行Java进程
  • 在windowdemo生产消息
hello java
hello world
hello scala
hello scala
hello spark
hello spark
hello spark
hello spark
hello spark
hello spark
hello spark
hello spark
  • 对应的在windowdemo消费到了消息

在这里插入图片描述

Session Window

  • 编写Java类
package nj.zb.kb09.kafka;

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.common.protocol.types.Field;
import org.apache.kafka.common.serialization.Serdes;
import org.apache.kafka.streams.*;
import org.apache.kafka.streams.kstream.KStream;
import org.apache.kafka.streams.kstream.SessionWindows;
import org.apache.kafka.streams.kstream.TimeWindows;

import java.time.Duration;
import java.util.Arrays;
import java.util.Properties;
import java.util.concurrent.CountDownLatch;

public class windowStream {
	public static void main(String[] args) {
		Properties prop = new Properties();
		prop.put(StreamsConfig.APPLICATION_ID_CONFIG, "windowStream3");
		prop.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.136.100:9092");
		prop.put(StreamsConfig.COMMIT_INTERVAL_MS_CONFIG, 3000);
		prop.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
		prop.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "false");
		prop.put(StreamsConfig.DEFAULT_KEY_SERDE_CLASS_CONFIG, Serdes.String().getClass());
		prop.put(StreamsConfig.DEFAULT_VALUE_SERDE_CLASS_CONFIG, Serdes.String().getClass());

		StreamsBuilder builder = new StreamsBuilder();


		KStream<Object, Object> source = builder.stream("windowdemo");
		source.flatMapValues(value-> Arrays.asList(value.toString().split("\\s+")))
				.map((x,y)->
				{
					return new KeyValue<String,String>(y,"1");
				}).groupByKey()
		.windowedBy(SessionWindows.with(Duration.ofSeconds(15).toMillis()))
				.count().toStream().foreach((x,y)->{
			System.out.println("x:"+x+" y:"+y);
		});



		final Topology topo = builder.build();
		final KafkaStreams streams = new KafkaStreams(topo,prop);

		final CountDownLatch latch = new CountDownLatch(1);
		Runtime.getRuntime().addShutdownHook(new Thread("stream"){
			@Override
			public void run() {
				streams.close();
				latch.countDown();
			}
		});
		streams.start();
		try {
			latch.await();
		} catch (InterruptedException e) {
			e.printStackTrace();
		}

		System.exit(0);
	}
}
  • 运行Java进程
  • 在windowdemo生产消息
hello java
  • 对应的在windowdemo消费到了消息

在这里插入图片描述
注意：每次编写Java类时，application_id_config的名字都要不一样。

蜂蜜柚子加苦茶
关注
第八篇——Kafka Streams源码解读
程序员光剑
09-16 2105
作者：禅与计算机程序设计艺术 1.简介 Kafka Streams是一个开源分布式流处理平台，它可以让你轻松处理实时数据流。通过Kafka Streams API可以轻松创建、部署和运行复杂的实时流处理应用程序。虽然Kafka Stream提供了许多高级功能，但其底层原理却十分简单易懂，在学习之余，我们
KafkaStream之时间窗口WindowBy详解
02-24
KafkaStream之时间窗口WindowBy的详细解释和例子接收，阐述grace方法和suppress方法 的妙用，还有自定义TimeStampExtractor的详细示例
Kafka Stream Window操作之Hopping、Tumbling 、Session
Mr_Bright的博客
12-21 1503
Kafka Stream窗口（1）Hopping Time Window（2）Tumbling Time Window（3）Sliding Window（4）Session Window（5）Hopping Time+Tumbling Time+Session Window 代码 流式数据是在时间上无界的数据。而聚合操作只能作用在特定的数据集，也即有界的数据集上。因此需要通过某种方式从无界的数据集上按特定的语义选取出有界的数据。窗口是一种非常常用的设定计算边界的方式。不同的流式处理系统支持的窗口类似，但不尽
kafka-Stream详解篇（附案例）
最新发布
A的博客
06-29 1914
Kafka Stream是Apache Kafka从0.10版本引入的一个新Feature。它是提供了对存储于Kafka内的数据进行流式处理和分析的功能。Kafka Stream提供了一个非常简单而轻量的Library，它可以非常方便地嵌入任意Java应用中，也可以任意方式打包和部署除了Kafka外，无任何外部依赖充分利用Kafka分区机制实现水平扩展和顺序性保证通过可容错的state store实现高效的状态操作（如windowed join和aggregation）
KafkaStream时间窗口
weixin_45881228的博客
03-15 747
例如，根据数据记录的实际内容检索或计算时间戳，例如嵌入的时间戳字段以提供事件时间语义， 并返回当前挂钟时间，从而产生流时间的处理时间语义。在这里，分析应用程序中的处理时间可能是毫秒或秒（例如，对于基于 Apache Kafka 和 Kafka Streams 的实时管道）或事件时间后的几小时（例如，对于基于 Apache Hadoop 或 Apache Spark 的批处理管道）。在处理时间的情况下，语义是“正在处理记录时”，这意味着无序记录的概念不适用，因为根据定义，任何记录都不能是无序的。
kafka-streams自定义窗口抑制
xiaochouyu__的博客
11-29 401
/** * kafka stream配置 * @Author: Clown * @Version: 1.0 * @Date: 2021/7/12 16:52 */ @Configuration public class KafkaStreamConfig { @Value("${kafka.stream.application.id}") private String applicationId; @Value("${kafka.consumer.servers}")
Kafka Stream
子清的博客
12-16 978
文章目录一、Kafka Stream背景1. Kafka Stream是什么2. 什么是流式计算3. 为什么要有Kafka Stream二、Kafka Stream架构1. Kafka Stream整体架构2. Processor Topology3. Kafka Stream并行模型4. KTable vs. KStream5. State store三、Kafka Stream如何解决流式系统中关键问题1. 时间2. 窗口3. Join4. 聚合与乱序处理5. 容错四、Kafka Stream应用示例五
剑指大数据——Flink学习精要（Java版)最终修订版
06-18
《剑指大数据——Flink学习精要（Java版）》是一部深入探讨大数据处理技术的专著，特别聚焦于Apache Flink这一实时计算框架。在Java编程环境下，Flink以其高效、稳定和强大的流处理能力，成为了大数据领域的热门选择...
实战解析耳听八方的Redis拓展应用——Stream，大厂腾飞不是梦
python6_quanzhan的博客
06-17 1191
前言 Redis5.0 增加了很多新的特色功能。而 Redis5.0 最大的新特性就是多出了一个数据结构Stream，它是一个新的强大的支持多播的可持久化的消息队列，Redis Stream 狠狠地借鉴了 Kafka 的设计。 今天，咱们就来深度剖析Redis的拓展应用——Stream 基本介绍 Redis Stream 的结构如上图所示，它有一个消息链表，将所有加入的消息都串起来，每个消息都有一个唯一的 ID 和对应的内容。消息是持久化的，Redis 重启后，内容还在。 每个 Stream.
Kafka第一讲：应用场景及架构设计详解
hanbingge123的博客
12-01 703
记录kafka的学习过程
Kafka原理、部署与实践——深入理解Kafka的工作原理和使用场景，全面介绍Kafka在实际生产环境中的部署
程序员光剑
07-31 2590
随着互联网的发展，网站的流量呈爆炸性增长，传统的基于关系型数据库的数据处理无法快速响应。而NoSQL技术如HBase、MongoDB等被广泛应用于分布式数据存储与处理，却没有提供像关系型数据库一样的ACID特性、JOIN操作及完整性约束。因此，很多公司或组织开始转向Apache Spark、Flink、Beam等新一代大数据处理框架来处理海量数据。然而，由于新一代大数据处理框架依赖于HDFS等文件系统，导致集群规模扩容困难、成本高昂。另一方面，云计算平台的出现让用户可以快速部署、扩展大数据处理集群。
kafka stream in action
11-23
kafka stream in action 大数据流式处理 很不错的进阶书籍
Kafka Stream in Action 2018 REP 最新版
01-18
鄙视一下那些拿着2017年的粗糙版本乱上传的兄弟，此版为2018REP修正版
Kafka Streams中的Windowing（窗口计算）与简单代码示例
gym02的博客
03-23 1479
Windowing在流式计算中将流数据按照时间划分为一个个窗口区间，对窗口区间内的数据引用计算规则，并获得窗口计算结果。 Trumbling（翻滚窗口） 特点：大小固定，窗口和窗口简的数据无重合 相关代码： stream .flatMapValues(line -> Arrays.asList(line.split(","))) .map((k, v) -> new KeyVa...
KafkaStream之时间窗口WindowBy
lijunfeng的博客
06-28 9971
Kafka Stream的大部分API还是比较容易理解和使用的，但是，其中的时间窗口聚合即windowBy方法还是需要仔细研究下，否则很容易使用错误。 本文先引入Kafka Stream，然后主要针对时间窗口聚合API即windowBy()做详细分析。 引言 Kafka Streams是一个用于构建应用程序和微服务的客户端库，其中的输入和输出数据存储在Kafka集群中。它结合了在客户端编...
Kafka Stream 学习笔记-4 window and state store
weixin_40455124的博客
09-15 405
默认存放方式：both in-memory and persistent state stores，persistent 使用rockdb模式存放到disk，disk存放路径：setting the StreamsConfig.STATE_DIR_CONFIG property。还可以使用LogAndSkipOnInvalidTimestamp，在init的时候通过prop DEFAULT_TIMESTAMP_EXTRACTOR_CLASS_CONFIG指定extractor类。
kafkaStream
liuyongsheng666的博客
12-29 528
UserFriendsStream import org.apache.kafka.clients.consumer.ConsumerConfig; import org.apache.kafka.common.serialization.Serdes; import org.apache.kafka.streams.*; import org.apache.kafka.streams.errors.StreamsException; import org.apache.kafka.streams..
尚硅谷大数据：Kafka详解——消息队列与解耦关键
《大数据技术之Kafka》是一份由尚硅谷大数据研发部编写的文档，专注于介绍Kafka这一关键的大数据技术。Kafka是一款分布式流处理平台，它主要以消息队列的形式提供高效、可靠、实时的数据传输服务。本文档共分为两...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值