Flink DataSet DataStream API

最新推荐文章于 2023-12-26 01:40:30 发布

青龙悟空

最新推荐文章于 2023-12-26 01:40:30 发布

阅读量172

点赞数

分类专栏： flink

本文链接：https://blog.csdn.net/qq_39674417/article/details/113361033

版权

现状
在前面的课程中，曾经提到过，Flink 很重要的一个特点是“流批一体”，然而事实上 Flink 并没有完全做到所谓的“流批一体”，即编写一套代码，可以同时支持流式计算场景和批量计算的场景。目前截止 1.10 版本依然采用了 DataSet 和 DataStream 两套 API 来适配不同的应用场景。

DateSet 和 DataStream 的区别和联系
在官网或者其他网站上，都可以找到目前 Flink 支持两套 API 和一些应用场景，但大都缺少了“为什么”这样的思考。

Apache Flink 在诞生之初的设计哲学是：用同一个引擎支持多种形式的计算，包括批处理、流处理和机器学习等。尤其是在流式计算方面，Flink 实现了计算引擎级别的流批一体。那么对于普通开发者而言，如果使用原生的 Flink ，直接的感受还是要编写两套代码。

整体架构如下图所示：

在 Flink 的源代码中，我们可以在 flink-java 这个模块中找到所有关于 DataSet 的核心类，DataStream 的核心实现类则在 flink-streaming-java 这个模块。

在上述两张图中，我们分别打开 DataSet 和 DataStream 这两个类，可以发现，二者支持的 API 都非常丰富且十分类似，比如常用的 map、filter、join 等常见的 transformation 函数。

我们在前面的课时中讲过 Flink 的编程模型，对于 DataSet 而言，Source 部分来源于文件、表或者 Java 集合；而 DataStream 的 Source 部分则一般是消息中间件比如 Kafka 等。

由于 Flink DataSet 和 DataStream API 的高度相似，并且 Flink 在实时计算领域中应用的更为广泛。所以下面我们详细讲解 DataStream API 的使用。

DataStream
我们先来回顾一下 Flink 的编程模型，在之前的课时中提到过，Flink 程序的基础构建模块是流（Streams）和转换（Transformations），每一个数据流起始于一个或多个 Source，并终止于一个或多个 Sink。数据流类似于有向无环图（DAG）。

在第 02 课时中模仿了一个流式计算环境，我们选择监听一个本地的 Socket 端口，并且使用 Flink 中的滚动窗口，每 5 秒打印一次计算结果。

自定义实时数据源
在本课时中，我们利用 Flink 提供的自定义 Source 功能来实现一个自定义的实时数据源，具体实现如下：

public class MyStreamingSource implements SourceFunction<MyStreamingSource.Item> {

private boolean isRunning = true;

/**
 * 重写run方法产生一个源源不断的数据发送源
 * @param ctx
 * @throws Exception
 */
@Override
public void run(SourceContext<Item> ctx) throws Exception {
    while(isRunning){
        Item item = generateItem();
        ctx.collect(item);

        //每秒产生一条数据
        Thread.sleep(1000);
    }
}
@Override
public void cancel() {
    isRunning = false;
}

//随机产生一条商品数据
private Item generateItem(){
    int i = new Random().nextInt(100);

    Item item = new Item();
    item.setName("name" + i);
    item.setId(i);
    return item;
}

class Item{
    private String name;
    private Integer id;

    Item() {
    }

    public String getName() {
        return name;
    }

    void setName(String name) {
        this.name = name;
    }

    private Integer getId() {
        return id;
    }

    void setId(Integer id) {
        this.id = id;
    }

    @Override