flink中的流的连接connect算子

1. 连接的流两条流可以是不同数据类型也可以是相同数据类型

2. 连接之后两条流会共享状态

3. 连接之后他们各自处理自己的逻辑

4. 连接之后返回的结果只能是一种数据类型

示例代码

/**
 * 流的 connect
 */
ConnectedStreams<String, String> connectedStreams = stream1.connect(stream2);

SingleOutputStreamOperator<String> resultStream = connectedStreams.map(new CoMapFunction<String, String, String>() {
    // 共同的状态数据

    String  prefix = "doitedu_";

    /**
     * 对 左流 处理的逻辑
     * @param value
     * @return
     * @throws Exception
     */
    @Override
    public String map1(String value) throws Exception {
        // 把数字*10,再返回字符串
        return  prefix + (Integer.parseInt(value)*10) + "";
    }

    /**
     * 对 右流 处理的逻辑
     * @param value
     * @return
     * @throws Exception
     */
    @Override
    public String map2(String value) throws Exception {

        return prefix + value.toUpperCase();
    }
});

 

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flink程序运用的算子有很多种,以下是几个常用的算子示例: 1. Map算子:对输入的每个元素应用一个函数,并返回一个新的元素。可以用来进行数据的转换和处理。 ```java DataStream<Integer> input = ...; DataStream<Integer> result = input.map(new MapFunction<Integer, Integer>() { @Override public Integer map(Integer value) throws Exception { return value * 2; } }); ``` 2. Filter算子:根据指定的条件过滤输入的元素,只保留满足条件的元素。 ```java DataStream<Integer> input = ...; DataStream<Integer> result = input.filter(new FilterFunction<Integer>() { @Override public boolean filter(Integer value) throws Exception { return value % 2 == 0; } }); ``` 3. KeyBy算子:根据指定的键对输入进行分组,将具有相同键的元素分到同一个分区。 ```java DataStream<Tuple2<String, Integer>> input = ...; KeyedStream<Tuple2<String, Integer>, String> keyedStream = input.keyBy(0); ``` 4. Reduce算子:对输入具有相同键的元素进行归约操作,返回一个新的元素。 ```java KeyedStream<Tuple2<String, Integer>, String> input = ...; DataStream<Tuple2<String, Integer>> result = input.reduce(new ReduceFunction<Tuple2<String, Integer>>() { @Override public Tuple2<String, Integer> reduce(Tuple2<String, Integer> value1, Tuple2<String, Integer> value2) throws Exception { return new Tuple2<>(value1.f0, value1.f1 + value2.f1); } }); ``` 5. Window算子:将输入划分为不重叠的窗口,并对每个窗口的元素进行计算。 ```java DataStream<Tuple2<String, Integer>> input = ...; DataStream<Tuple2<String, Integer>> result = input .keyBy(0) .window(TumblingProcessingTimeWindows.of(Time.seconds(5))) .sum(1); ```

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值