【Flink】广播流

本文介绍了Flink广播流如何用于规则匹配场景。当规则数据量小的时候,Flink将规则流广播,使得数据流能使用到最新的规则进行处理。详细步骤包括:定义规则类、创建规则流、定义数据流以及实现主逻辑。
摘要由CSDN通过智能技术生成

       flink广播流适用于规则匹配,当规则数据比较少的情况,flink会把规则流广播,数据流就会拿到最新的规则流进行处理。

1、先定义规则类

package com.test;

import lombok.Data;

@Data
public class Rule {

    private Integer id;

    private String result;


    public Rule() {
    }

    public Rule(Integer id, String result) {
        this.id = id;
        this.result = result;
    }
}

2、定义规则流(待广播流)

package com.test;

import org.apache.flink.streaming.api.functions.source.SourceFunction;
/**
 * 自定义Source
 */
class RuleSourceFunction implements SourceFunction<Rule> {
    private boolean isRunning = true;
    Integer id = 1;
    @Override
    public void run(SourceContext<Rule> ctx) throws Exception
以下是一个简单的 Flink 广播程例子: ``` import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.datastream.BroadcastStream; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.streaming.api.functions.co.KeyedBroadcastProcessFunction; import org.apache.flink.util.Collector; public class BroadCastExample { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); DataStream<Tuple2<String, Integer>> dataStream = env .fromElements(Tuple2.of("A", 1), Tuple2.of("B", 2), Tuple2.of("C", 3)); DataStream<String> broadcastStream = env.fromElements("A", "B"); broadcastStream.broadcast().connect(dataStream) .process(new KeyedBroadcastProcessFunction<String, String, Tuple2<String, Integer>, Tuple2<String, Integer>>() { @Override public void processElement(Tuple2<String, Integer> value, ReadOnlyContext ctx, Collector<Tuple2<String, Integer>> out) throws Exception { for (String s : ctx.getBroadcastState(new MapStateDescriptor<>("broadcast", Types.STRING, Types.STRING)).immutableEntries()) { if (s.equals(value.f0)) { out.collect(value); } } } @Override public void processBroadcastElement(String value, Context ctx, Collector<Tuple2<String, Integer>> out) throws Exception { ctx.getBroadcastState(new MapStateDescriptor<>("broadcast", Types.STRING, Types.STRING)).put(value, value); } }) .print(); env.execute(); } } ``` 这个例子中,我们创建了两个数据:一个是 `dataStream`,包含了 (字符串, 整数) 的元组;另一个是 `broadcastStream`,包含了字符串。我们使用 `broadcastStream.broadcast().connect(dataStream)` 方法将广播数据连接,并使用 `KeyedBroadcastProcessFunction` 处理数据。最后,我们使用 `print()` 方
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一杯咖啡半杯糖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值