第四章 Flink基础练习之Transformation算子

已于 2022-10-18 21:02:16 修改
阅读量1k 收藏 1
点赞数
分类专栏： # Flink专题 文章标签： kafka java 分布式
于 2021-11-17 15:41:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27924553/article/details/121379812
版权
  • Transformation算子概览
    在这里插入图片描述

1、映射算子 - Map & FlatMap

1.1、Map算子
  • 作用：一对一转换对象
  • 实战案例：将文本转换成长度输出
package com.lihaiwei.text1.app;

import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer;

import java.util.Properties;

public class flink04kafka {
    public static void main(String[] args) throws Exception {
        //1、构建执⾏任务环境以及任务的启动的⼊⼝, 存储全局相关的参数
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        // 2、配置kafka连接参数
        Properties props = new Properties();
        //kafka地址
        props.setProperty("bootstrap.servers", "hadoop102:9092");
        //消费者组名
        props.setProperty("group.id", "console-consumer-8000");
        //消费消息时字符串序列化和反序列化规则
        props.setProperty("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.setProperty("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        //消费消息时offset重置规则
        props.setProperty("auto.offset.reset", "latest");
        //⾃动提交
        props.setProperty("enable.auto.commit", "true");
        props.setProperty("auto.commit.interval.ms", "2000");
        //有后台线程每隔10s检测⼀下Kafka的分区变化情况
        props.setProperty("flink.partition-discovery.interval-millis", "10000");

        // 3、定义kafka的消费者的
        FlinkKafkaConsumer<String> consumer =new FlinkKafkaConsumer<>("first", new SimpleStringSchema(), props);

        // 4、设置从记录的消费者组内的offset开始消费
        consumer.setStartFromGroupOffsets();

        // 5、设置kafka作为source
        DataStream<String> ds = env.addSource(consumer);

        // 6、打印输出
        ds.print("打印后");

        // 7、处理,拼接字符串
        DataStream<String> mapDS = ds.map(new MapFunction<String, String>() {
            @Override
            public String map(String value) throws Exception {
                return "map"+value;
            }
        });

        // 8、输出到kafka中
        FlinkKafkaProducer<String> kafkaSink = new FlinkKafkaProducer<>("second", new SimpleStringSchema(), props);
        mapDS.addSink(kafkaSink);

        // 9、DataStream需要调⽤execute,可以取个名称
        env.execute("custom source job");
    }
}
  • 运行结果

Ⅰ、kafkad的frist生产者

在这里插入图片描述

Ⅱ、IDEA运行打印

在这里插入图片描述

Ⅲ、kafka的second消费者

在这里插入图片描述

1.2、FlatMap算子
  • 作用：一对多转换对象
  • 实战案例：字符串切割输出
package com.lihaiwei.text1.app;

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer;
import org.apache.flink.util.Collector;

import java.util.Properties;

public class flink04kafka {
    public static void main(String[] args) throws Exception {
        //1、构建执⾏任务环境以及任务的启动的⼊⼝, 存储全局相关的参数
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        // 2、配置kafka连接参数
        Properties props = new Properties();
        //kafka地址
        props.setProperty("bootstrap.servers", "hadoop102:9092");
        //消费者组名
        props.setProperty("group.id", "console-consumer-8000");
        //消费消息时字符串序列化和反序列化规则
        props.setProperty("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.setProperty("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        //消费消息时offset重置规则
        props.setProperty("auto.offset.reset", "latest");
        //⾃动提交
        props.setProperty("enable.auto.commit", "true");
        props.setProperty("auto.commit.interval.ms", "2000");
        //有后台线程每隔10s检测⼀下Kafka的分区变化情况
        props.setProperty("flink.partition-discovery.interval-millis", "10000");

        // 3、定义kafka的消费者的
        FlinkKafkaConsumer<String> consumer =new FlinkKafkaConsumer<>("first", new SimpleStringSchema(), props);

        // 4、设置从记录的消费者组内的offset开始消费
        consumer.setStartFromGroupOffsets();

        // 5、设置kafka作为source
        DataStream<String> ds = env.addSource(consumer);

        // 6、打印输出
        ds.print("处理前");

        // 7、处理,切割字符串
        DataStream<String> mapDS = ds.flatMap(new FlatMapFunction<String, String>() {
            @Override
            public void flatMap(String value, Collector<String> out) throws Exception {
                String [] arr = value.split(",");
                for(String str:arr){
                    out.collect(str);
                }
            }
        });
        // 7、打印输出
        mapDS.print("处理后");

        // 8、输出到kafka中
        FlinkKafkaProducer<String> kafkaSink = new FlinkKafkaProducer<>("second", new SimpleStringSchema(), props);
        mapDS.addSink(kafkaSink);

        // 9、DataStream需要调⽤execute,可以取个名称
        env.execute("custom source job");
    }
}
  • 运行结果

Ⅰ、first生产者

在这里插入图片描述

Ⅱ、IDEA运行结果

在这里插入图片描述

Ⅲ、second消费者
在这里插入图片描述

2、富函数算子 - RichMap & RichFlatMap

  • Rich相关的API更丰富，多了Open、close方法，用于初始化连接

  • RichXXX相关Open、Close、setRuntimeContext等 API⽅法会根据并⾏度进⾏操作的

    • ⽐如并⾏度是4，那就有4次触发对应的open/close⽅法等， 是4个不同subtask
    • ⽐如 RichMapFunction、RichFlatMapFunction、 RichSourceFunction等
2.1、RichMap算子
package com.lihaiwei.text1.app;
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.functions.RichFlatMapFunction;
import org.apache.flink.api.common.functions.RichMapFunction;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;

import java.util.Arrays;
import java.util.stream.Stream;

public class flink02 {
    public static void main(String[] args) throws Exception {
        // 1、构建执行任务以及任务的启动入口，存储全局相关参数
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(2);

        // 2、相同类型元素的数据流
        //DataSet<String> stringDS = env.fromElements("java,SpringBoot", "spring cloud,redis", "kafka");
        DataStream<String> stringDS = env.fromElements("java,SpringBoot", "spring cloud,redis", "kafka");
        //DataStream<Long> stringDS2 = env.fromSequence(1,10);
        stringDS.print("执行前");
        // 3、进行flatmap操作
        DataStream<String> flatmapStream = stringDS.map(new RichMapFunction<String, String>() {
            @Override
            public void open(Configuration parameters) throws Exception {
                System.out.println("====open====");
            }

            @Override
            public void close() throws Exception {
                System.out.println("====close====");
            }

            @Override
            public String map(String s) throws Exception {
                return "test"+s;
            }
        });
        // 4、输出
        flatmapStream.print("执行后");
        // 5、/DataStream需要调⽤execute,可以取个名称
        env.execute("flink");
    }
}
  • 运行结果： 两个并行度

在这里插入图片描述

2.2、RichFlatMap算子
package com.lihaiwei.text1.app;
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.functions.RichFlatMapFunction;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;

import java.util.Arrays;
import java.util.stream.Stream;

public class flink02 {
    public static void main(String[] args) throws Exception {
        // 1、构建执行任务以及任务的启动入口，存储全局相关参数
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(2);

        // 2、相同类型元素的数据流
        //DataSet<String> stringDS = env.fromElements("java,SpringBoot", "spring cloud,redis", "kafka");
        DataStream<String> stringDS = env.fromElements("java,SpringBoot", "spring cloud,redis", "kafka");
        //DataStream<Long> stringDS2 = env.fromSequence(1,10);
        stringDS.print("执行前");
        // 3、进行flatmap操作
        DataStream<String> flatmapStream = stringDS.flatMap(new RichFlatMapFunction<String, String>() {
            @Override
            public void open(Configuration parameters) throws Exception {
                System.out.println("====open====");
            }

            @Override
            public void close() throws Exception {
                System.out.println("=====close====");
            }

            @Override
            public void flatMap(String value, Collector<String> collector) throws Exception {
                // 3.1、进行切割转换
                String [] arr = value.split(",");
                // 3.2、遍历收集每一个
                for(String str : arr){
                    collector.collect(str);
                }
            }
        });
        // 4、输出
        flatmapStream.print("执行后");
        // 5、/DataStream需要调⽤execute,可以取个名称
        env.execute("flink");
    }
}
  • 运行结果 ： 有两个subtask

在这里插入图片描述

3、分组算子 - KeyBy

  • keyby：分组 & 统计
 keyBy:把数据流按照某个字段分区 
 keyBy后:是相同的数据放到同个组⾥⾯，再进⾏组内统计
  • 需求：根据id分组求最大温度值
id1,20210101,27.1
id2,20210101,26.1
id1,20210101,25.2
id3,20210101,25.1
id2,20210101,29.1
id1,20210101,33.1
  • 代码实战

①SensorReading类编写

package com.lihaiwei.text1.model;

public class SensorReading {
    // 1、创建私有属性:id,时间戳,温度值
    private String id;
    private Long timestamp;
    private Double temperatue;

    // 2、创建空参构造方法
    public SensorReading() {
    }
    // 3、创建全参构造方法

    public SensorReading(String id, Long timestamp, Double temperatue) {
        this.id = id;
        this.timestamp = timestamp;
        this.temperatue = temperatue;
    }
    // 4、创建get/set方法

    public String getId() {
        return id;
    }

    public void setId(String id) {
        this.id = id;
    }

    public Long getTimestamp() {
        return timestamp;
    }

    public void setTimestamp(Long timestamp) {
        this.timestamp = timestamp;
    }

    public Double getTemperatue() {
        return temperatue;
    }

    public void setTemperatue(Double temperatue) {
        this.temperatue = temperatue;
    }
    // 5、重写tostring方法,方便打印输出&序列化
    @Override
    public String toString() {
        return "SensorReading{" +
                "id='" + id + '\'' +
                ", timestamp=" + timestamp +
                ", temperatue=" + temperatue +
                '}';
    }
}

②main编写

package com.lihaiwei.text1.app;

import com.lihaiwei.text1.model.SensorReading;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.java.tuple.Tuple;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.KeyedStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

public class flink05keyby {
    public static void main(String[] args) throws Exception {
        // 1、创建执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        // 2、读取数据文件
        DataStream<String> inputDataStream = env.readTextFile("C:\\Users\\PROTH\\Desktop\\shenme\\test5.txt");
        // 3.1、转换成SensorReading类型
        DataStream<SensorReading> mapStream = inputDataStream.map(new MapFunction<String, SensorReading>() {
            @Override
            public SensorReading map(String value) throws Exception {
                String[] fileds = value.split(",");
                return new SensorReading(fileds[0],new Long(fileds[1]),new Double(fileds[2]));
            }
        }).keyBy("id").max("temperatue");

        mapStream.print("聚合后");
        // 9、DataStream需要调⽤execute,可以取个名称
        env.execute("keyby job");
    }
}
  • 运行结果

在这里插入图片描述

4、过滤算子 Fiter

  • 应用场景：筛选条件

  • 需求：筛选出h开头的数据

  • 代码实战

package com.lihaiwei.text1.app;

import org.apache.flink.api.common.functions.FilterFunction;
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer;
import org.apache.flink.util.Collector;

import java.util.Properties;

public class flink04kafka {
    public static void main(String[] args) throws Exception {
        //1、构建执⾏任务环境以及任务的启动的⼊⼝, 存储全局相关的参数
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        // 2、配置kafka连接参数
        Properties props = new Properties();
        //kafka地址
        props.setProperty("bootstrap.servers", "hadoop102:9092");
        //消费者组名
        props.setProperty("group.id", "console-consumer-8000");
        //消费消息时字符串序列化和反序列化规则
        props.setProperty("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.setProperty("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        //消费消息时offset重置规则
        props.setProperty("auto.offset.reset", "latest");
        //⾃动提交
        props.setProperty("enable.auto.commit", "true");
        props.setProperty("auto.commit.interval.ms", "2000");
        //有后台线程每隔10s检测⼀下Kafka的分区变化情况
        props.setProperty("flink.partition-discovery.interval-millis", "10000");

        // 3、定义kafka的消费者的
        FlinkKafkaConsumer<String> consumer =new FlinkKafkaConsumer<>("first", new SimpleStringSchema(), props);

        // 4、设置从记录的消费者组内的offset开始消费
        consumer.setStartFromGroupOffsets();

        // 5、设置kafka作为source
        DataStream<String> ds = env.addSource(consumer);

        // 6、打印输出
        ds.print("处理前");

        // 7、处理,切割字符串
        DataStream<String> mapDS = ds.filter(new FilterFunction<String>() {
            @Override
            public boolean filter(String value) throws Exception {
                return value.startsWith("h");
            }
        });
        // 7、打印输出
        mapDS.print("处理后");

        // 8、输出到kafka中
        FlinkKafkaProducer<String> kafkaSink = new FlinkKafkaProducer<>("second", new SimpleStringSchema(), props);
        mapDS.addSink(kafkaSink);

        // 9、DataStream需要调⽤execute,可以取个名称
        env.execute("custom source job");
    }
}
  • 运行结果

①frist生产者

在这里插入图片描述

②IDEA运行结果

在这里插入图片描述

③second消费者

在这里插入图片描述

  • 注意：先过滤后分组聚合，较少内存消耗&数据分发

5、滚动聚合算子 - Sum、Reduce、Min、Max、MinBy、MaxBy

5.1、sum

  • 普通聚合算子：sum()，max()，min()，avg()

  • 代码实战 - 链式调用

package com.lihaiwei.text1.app;

import com.lihaiwei.text1.model.SensorReading;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.java.tuple.Tuple;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.KeyedStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

public class flink05keyby {
    public static void main(String[] args) throws Exception {
        // 1、创建执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        // 2、读取数据文件
        DataStream<String> inputDataStream = env.readTextFile("C:\\Users\\PROTH\\Desktop\\shenme\\test5.txt");
        // 3.1、转换成SensorReading类型
        DataStream<SensorReading> mapStream = inputDataStream.map(new MapFunction<String, SensorReading>() {
            @Override
            public SensorReading map(String value) throws Exception {
                String[] fileds = value.split(",");
                return new SensorReading(fileds[0],new Long(fileds[1]),new Double(fileds[2]));
            }
        }).keyBy("id").sum("temperatue");

        mapStream.print("聚合后");
        // 9、DataStream需要调⽤execute,可以取个名称
        env.execute("keyby job");
    }
}
  • 运行结果

在这里插入图片描述

5.2、reduce算子（核心）
  • 应用场景：分组后聚合统计sum和reduce实现⼀样的效果
value1:是历史值
value2:是新值,不断累加统计的对象
  • 代码实战：
package com.lihaiwei.text1.app;

import com.lihaiwei.text1.model.SensorReading;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.common.functions.ReduceFunction;
import org.apache.flink.api.java.functions.KeySelector;
import org.apache.flink.api.java.tuple.Tuple;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.KeyedStream;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

public class flink05keyby {
    public static void main(String[] args) throws Exception {
        // 1、创建执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        // 2、读取数据文件
        DataStream<String> inputDataStream = env.readTextFile("C:\\Users\\PROTH\\Desktop\\shenme\\test5.txt");
        // 3.1、转换成SensorReading类型
        DataStream<SensorReading> mapStream = inputDataStream.map(new MapFunction<String, SensorReading>() {
            @Override
            public SensorReading map(String value) throws Exception {
                String[] fileds = value.split(",");
                return new SensorReading(fileds[0],new Long(fileds[1]),new Double(fileds[2]));
            }
        });

        // 3.2、进行分组
        KeyedStream<SensorReading,String> keybyDS = mapStream.keyBy(new KeySelector<SensorReading, String>() {
            @Override
            public String getKey(SensorReading value) throws Exception {
                return value.getId();
            }
        });

        // 3.2、分组后自定义聚合规则
        SingleOutputStreamOperator<SensorReading> reduceDS = keybyDS.reduce(new ReduceFunction<SensorReading>() {
            @Override
            public SensorReading reduce(SensorReading value1, SensorReading value2) throws Exception {
                SensorReading sensorReading = new SensorReading();
                // 获取键 - id
                sensorReading.setId(value1.getId());
                // 获取值 - 温度
                sensorReading.setTemperatue(value1.getTemperatue() + value2.getTemperatue());
                return sensorReading;
            }
        });


        reduceDS.print("聚合后");
        // 9、DataStream需要调⽤execute,可以取个名称
        env.execute("keyby job");
    }
}
  • 运行结果

在这里插入图片描述

  • reduce和sum区别
待续

5.3 max & maxBy | min & minBy

  • 区别：如果是⽤了keyby,在后续算⼦要⽤maxby，minby类型，才可以 再分组⾥⾯找对应的数据
1、如果是keyBy的是对象的某个属性，则分组⽤max/min聚合统计，只有聚合的字段会更新，其他字段还是旧的，导致对象不准,
2、⽤maxby/minBy才对让整个对象的属性都是最新的
  • 代码实战
package com.lihaiwei.text1.app;

import com.lihaiwei.text1.model.SensorReading;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.common.functions.ReduceFunction;
import org.apache.flink.api.java.functions.KeySelector;
import org.apache.flink.api.java.tuple.Tuple;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.KeyedStream;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

public class flink05keyby {
    public static void main(String[] args) throws Exception {
        // 1、创建执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        // 2、读取数据文件
        DataStream<String> inputDataStream = env.readTextFile("C:\\Users\\PROTH\\Desktop\\shenme\\test5.txt");
        // 3.1、转换成SensorReading类型
        DataStream<SensorReading> mapStream = inputDataStream.map(new MapFunction<String, SensorReading>() {
            @Override
            public SensorReading map(String value) throws Exception {
                String[] fileds = value.split(",");
                return new SensorReading(fileds[0],new Long(fileds[1]),new Double(fileds[2]));
            }
        }).keyBy("id").max("temperatue");

        DataStream<SensorReading> mapStream2 = inputDataStream.map(new MapFunction<String, SensorReading>() {
            @Override
            public SensorReading map(String value) throws Exception {
                String[] fileds = value.split(",");
                return new SensorReading(fileds[0],new Long(fileds[1]),new Double(fileds[2]));
            }
        }).keyBy("id").maxBy("temperatue");



        mapStream.print("max");
        mapStream2.print("maxby");
        // 9、DataStream需要调⽤execute,可以取个名称
        env.execute("keyby job");
    }
}
  • 运行结果

在这里插入图片描述

随缘清风殇
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Flink-Data-Transformation.md
08-07
Flink_Data_Transformation
Flink练习第三天：转换算子练习--map、flatmap、filter、reduce、simpleagg
东城庞太师
05-04 1024
目录 map flatmap filter reduce simpleagg map map package com.atguigu.chapter05; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.streaming.api.datastream.DataStreamSource; import org.apache.flink.streaming.api.d
《初级》Flink API练习
huzechen的博客
08-29 327
加微信拉微信交流群 微信：weixin605405145 Fliter import org.apache.flink.api.common.functions.FilterFunction; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api....
Flink练习
hsiehchou的博客
06-01 514
Flink练习 一、Flink开发IDEA环境搭建与测试 1、IDEA开发环境 先虚拟机联网，然后执行yum -y install nc nc是用来打开端口的工具 然后nc -l 9000 1.pom文件设置 <properties> <maven.compiler.source>1.8</maven.compiler.source> ...
Flink批处理练习
影子
03-04 160
idea、Flink、maven <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http:/..
Flink编程练习（一）
crazy_scott的博客
12-11 1403
Flink编程练习，NYC出租车数据 环境配置 本项目参考这里，setup。 首先确保已经下载好flink依赖，并从Github下载代码。 下载依赖数据，这里依赖的是纽约出租车数据，可以使用命令行下载： wget http://training.data-artisans.com/trainingData/nycTaxiRides.gz wget http://training.da...
Flink基础系列32-Table API和Flink SQL之时间窗口
04-26
Flink基础系列32-Table API和Flink SQL之时间窗口，大数据，flink 时间窗口
flink开发实战之flink原理解析
01-27
我们知道目前流处理的主要流行的计算引擎有，Storm，SparkStreaming。...Flink的出现完美的解决了以上问题，这也是flink出现的原因，flink不仅能提供同时支持高吞吐和exactly-once语义的实时计算，
Flink流处理之迭代案例
01-27
但是对于流处理（DataStream），Flink同样提供了对迭代的支持，这一节我们主要来分析流处理中的迭代，我们将会看到流处理中的迭代相较于批处理有相似之处，但差异也是十分之明显。 可迭代的流处理程序允许定义“步...
Flink 题目
weixin_48370579的博客
07-23 144
Flink 题目 从MySql中读取数据，通过Flink处理之后在存储到MySql中 package com.wt.flink.homework import org.apache.flink.streaming.api.functions.source.SourceFunction import org.apache.flink.configuration.Configuration im...
Flink（14）：Flink之Transformation算子（下）
yang_shibiao的博客
07-11 568
目录 ​​​​​​0. 相关文章链接 1.union和connect算子 2.split、select和Side Outputs 3.rebalance重平衡分区 4. 其他分区算子 ​​​​​​0. 相关文章链接 1.union和connect算子 API： union：union算子可以合并多个同类型的数据流，并生成同类型的数据流，即可以将多个DataStream[T]合并为一个新的DataStream[T]。数据将按照先进先出（First In First Out）的...
Flink编程练习（二）
crazy_scott的博客
12-18 2208
Map 班级学生成绩的随机生成 输入：本班同学的学号 输出：&lt;学号，成绩&gt; 数据准备 首先需要一个stuID.csv文件，每一列为一个学号： 然后将文件放入HDFS中： hdfs dfs put stuID.csv input 编写程序 import org.apache.flink.api.common.functions.MapFunction; impo...
Flink热门电影实时统计（模仿双十一实时大屏统计）
qq_43521665的博客
04-03 621
本实验根据累计观影人数，判断电影的热门程度 实验要求： 实时计算出三天内截止到当前时间的观影人数 计算出电影观影人数的Top3，并输出对应电影 每秒钟更新一次统计结果 附加：实时计算出电影的平均评分，如果电影人数相同，则输出分数高的 实验过程： 数据源会源源不断地产生数据流，根据电影ID，对电影的观影人数进行累加，并对电影评分求平均。 每秒钟收集一次窗口结果数据，将聚合结果打包成对象，该对象中包含了打包时间，使用这个打包时间代替事件发生时间 按照时间分组，每1s更新截至当前时间的累计总人数和平均分，并
flink 随笔 2-实践练习
hyoka的博客
11-30 134
0. 有国外的flink的好书吗? 幂等 1. 先整理，慢慢看 实践练习 流处理 在 Flink 中，应用程序由用户自定义算子转换而来的流式 dataflows 所组成。这些流式 dataflows 形成了有向图，以一个或多个源（source）开始，并以一个或多个汇（sink）结束。 通常，程序代码中的 transformation 和 dataflow 中的算子（operator）之间是一一对应的。但有时也会出现一个 transformation 包含多个算子的情况，如上图所示。 并行Data
flink（三）：数据处理Transformation
幻神舞的专栏
04-30 724
文章目录说明Transformation 数据处理SingleDataStreamMapFlatMapFilterKeyByReduceAggregationsMultiDataStreamUnioConnect,CoMap,CoflatMapsplitSelectIterate物理分区随机分区（Random Partitioning）平衡分区（Roundrobin Partitioning）Rescaling partitioning广播操作自定义分区总结 说明 本博客每周五更新一次。 本博客主要讲解t
【先收藏，早晚用得到】100个Flink高频面试题系列（一）
大数据研习社
06-06 617
持续分享有用、有价值、精选的优质大数据面试题 致力于打造全网最全的大数据面试专题题库
【先收藏，早晚用得到】100个Flink高频面试题系列（二）
大数据研习社
06-06 322
持续分享有用、有价值、精选的优质大数据面试题 致力于打造全网最全的大数据面试专题题库
Flink（13）：Flink之Transformation算子（上）
yang_shibiao的博客
07-10 751
目录 0. 相关文章链接 1. Flink中的Transformation算子概述 2. Map算子 3. flatMap算子 4. keyby算子 5. filter算子 6. sum算子 7. reduce算子 8. 代码演示 0. 相关文章链接 1. Flink中的Transformation算子概述 https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/stream/operators/ .
Flink第二次练习（含流式数据初试）
曦玥Moonight的博客
11-15 184
Flink的官网：https://flink.apache.org/ 使用的软件：IntelliJ IDEA Community Edition CoreAPI： DataSet:专门处理离线数据,给离线数据处理设计了更多有针对性的API. env:ExecutionEnvironment DataStream:一般用于处理流式数据,也可以处理离线数据env:StreamExecutionEnvironment 【这一次用的是DataStream】 创建SourceTest package cn.tedu.
flink程序运行运用的算子
最新发布
01-05
Flink程序运用的算子有很多种，以下是几个常用的算子示例： 1. Map算子：对输入流中的每个元素应用一个函数，并返回一个新的元素。可以用来进行数据的转换和处理。 ```java DataStream<Integer> input = ...; ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

随缘清风殇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值