Kafka--demo干货

Kafka–demo干货

写了一个kafak的demo，可能很多场景会用到类似的案列，故分享出来初学者参考，有不懂
或者是不理解的可以留言*

在特定的时间段，获取每一个用户的所有信息。也可以作为一个加法器，或者求最值等。

package com.example.demo.test;

import org.apache.kafka.common.serialization.Serde;
import org.apache.kafka.common.serialization.Serdes;
import org.apache.kafka.streams.KafkaStreams;
import org.apache.kafka.streams.StreamsBuilder;
import org.apache.kafka.streams.StreamsConfig;
import org.apache.kafka.streams.kstream.*;

import java.util.Properties;

public class StreamDemo {

    public static void main(String [] age){
        Properties config = new Properties();
        config.put(StreamsConfig.APPLICATION_ID_CONFIG, "testg");
        config.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.4.202:9092");
        //默认序列化
        config.put(StreamsConfig.DEFAULT_VALUE_SERDE_CLASS_CONFIG, Serdes.String().getClass());
        config.put(StreamsConfig.DEFAULT_KEY_SERDE_CLASS_CONFIG, Serdes.String().getClass());
        //时间
        int windowtime = 1000*60*1;
        //窗口宽度
        TimeWindows timeWindows = TimeWindows.of(windowtime);
        //此处是窗口步进时间
        timeWindows.advanceBy(windowtime);
        //窗口序列化
        Serde<Windowed<String>> windowedSerde = WindowedSerdes.timeWindowedSerdeFrom(String.class);
        //字符串序列化
        Serde<String> stringSerde = Serdes.String();
        StreamsBuilder builder = new StreamsBuilder();
        //设置源流 以及序列化
        KStream<Windowed<String>, String> textLines = builder.stream("mqtt3");
        //根据key分组 按照滚动窗口分割 聚合所有同key的值 打印出来
        KStream to = textLines.groupByKey()
                .windowedBy(timeWindows)
                .reduce((aggValue, newValue) -> aggValue + newValue)
                .toStream();
//                .process(MyProcessor::new);
//                .to("mqtt2",Produced.with(stringSerde,stringSerde));
        to.to("mqtt2",Produced.with(windowedSerde,stringSerde));
        //启动
        KafkaStreams streams = new KafkaStreams(builder.build(), config);
        streams.start();
    }
}

这里 ，可能会有人说 这个to对象是多此一举的 ，我开始也没写 但是编译都通不过。。也不知道是不是编译器的锅

但愿能帮到你，陌生人