Flink学习（一）

最新推荐文章于 2024-04-30 10:07:56 发布

VIP文章 xfgg

最新推荐文章于 2024-04-30 10:07:56 发布

阅读量575

点赞数

文章标签： flink 学习大数据

本文链接：https://blog.csdn.net/qq_42337039/article/details/130677929

版权

分布式计算框架

Java可以使用分布式计算来处理大规模的数据和计算任务，提高计算效率和性能。以下是一些Java分布式计算的例子：

Apache Hadoop：Hadoop是一个开源的分布式计算框架，可以处理大规模数据集的分布式存储和处理。它使用Java编写，可以在分布式环境中运行MapReduce程序。
Apache Spark：Spark是一个快速的、通用的分布式计算系统，可以处理大规模数据集的分布式存储和处理。它使用Java编写，可以在分布式环境中运行Spark程序。
Apache Storm：Storm是一个开源的分布式实时计算系统，可以处理实时数据流的分布式处理。它使用Java编写，可以在分布式环境中运行Storm程序。
Apache Flink：Flink是一个开源的分布式流处理框架，可以处理实时数据流的分布式处理。它使用Java编写，可以在分布式环境中运行Flink程序。
Akka：Akka是一个开源的分布式计算框架，可以处理并发和分布式计算。它使用Java编写，可以在分布式环境中运行Akka程序。
Hazelcast：Hazelcast是一个开源的分布式计算框架，可以处理分布式缓存和分布式计算。它使用Java编写，可以在分布式环境中运行Hazelcast程序。

这些框架和工具可以帮助Java开发人员处理大规模数据和计算任务，提高计算效率和性能

Flink学习

Flink是目前java最常用的分布式计算框架，了解flink可以按以下步骤

了解Flink的基本概念和架构：Flink是一个分布式流处理框架，可以处理无限量的数据流。它的核心是流数据处理引擎和分布式运行时环境。了解Flink的基本概念和架构是学习Flink的第一步。
学习Flink的API：Flink提供了多种API，包括DataStream API和DataSet API。DataStream API用于处理无限流数据，而DataSet API用于处理有限数据集。学习Flink的API是学习Flink的重要一步。
实践Flink应用：通过实践Flink应用，可以更好地理解Flink的使用和应用场景。可以从简单的WordCount应用开始，逐步深入学习Flink的应用。
学习Flink的高级特性：Flink提供了许多高级特性，如窗口、状态管理、容错机制等。学习这些高级特性可以让你更好地使用Flink解决实际问题。
参与Flink社区：Flink社区是一个活跃的社区，有许多专家和开发者可以提供帮助和指导。参与Flink社区可以让你更好地了解Flink的最新动态和发展方向。

总之，学习Flink需要不断地实践和探索，同时也需要不断地学习和了解最新的技术发展。

Flink基本概念和架构

Flink是一个分布式流处理框架，它的核心是流数据处理引擎和分布式运行时环境。Flink的基本概念和架构包括以下几个方面：

流数据处理引擎：Flink的流数据处理引擎是其核心组件，它可以处理无限量的数据流。Flink的流数据处理引擎支持事件时间和处理时间两种时间模型，可以进行流数据的转换、聚合、过滤、连接等操作。
分布式运行时环境：Flink的分布式运行时环境是由多个节点组成的集群，每个节点都可以执行Flink的任务。Flink的分布式运行时环境可以自动进行任务的分配和调度，保证任务的高可用性和高性能。
数据流：Flink的数据流是由多个数据记录组成的无限流，可以是来自Kafka、RabbitMQ等消息队列的数据流，也可以是来自网络、文件等数据源的数据流。
窗口：Flink的窗口是对数据流进行分组和聚合的一种方式，可以将数据流分成多个窗口，对每个窗口进行聚合操作。Flink支持基于时间和基于数量的窗口。
状态管理：Flink的状态管理是对流数据处理过程中的状态进行管理的一种机制，可以保证任务的容错性和数据的一致性。Flink的状态管理支持内存、文件系统、RocksDB等多种存储方式。
容错机制：Flink的容错机制是保证任务在出现故障时能够自动恢复的一种机制，可以保证任务的高可用性和数据的一致性。Flink的容错机制基于检查点和重启机制实现。

Flink的API

Flink提供了多种API，包括DataStream API和DataSet API。DataStream API用于处理无限流数据，而DataSet API用于处理有限数据集。

DataStream API：DataStream API是Flink处理无限流数据的主要API，它提供了丰富的操作符和函数，可以对流数据进行转换、聚合、过滤、连接等操作。DataStream API支持事件时间和处理时间两种时间模型，可以进行流数据的窗口操作和状态管理。
DataSet API：DataSet API是Flink处理有限数据集的主要API，它提供了丰富的操作符和函数，可以对数据集进行转换、聚合、过滤、连接等操作。DataSet API支持批处理模式，可以对有限数据集进行离线处理。

除了DataStream API和DataSet API，Flink还提供了Table API和SQL API，可以用于对流数据和数据集进行SQL查询和分析。Table API和SQL API可以将流数据和数据集转换为关系型表格，支持常见的SQL操作。

DataStream API

DataStream API是Flink处理无限流数据的主要API，它提供了丰富的操作符和函数，可以对流数据进行转换、聚合、过滤、连接等操作。以下是DataStream API中常用的操作函数：

map：对流中的每个元素进行映射操作，返回一个新的流。
flatMap：对流中的每个元素进行扁平化操作，返回一个新的流。
filter：对流中的每个元素进行过滤操作，返回一个新的流。
keyBy：对流中的元素进行分组操作，返回一个KeyedStream。
reduce：对KeyedStream中的元素进行聚合操作，返回一个新的流。
window：对流中的元素进行窗口操作，返回一个WindowedStream。
union：将多个流合并成一个流，返回一个新的流。
join：对两个流进行关联操作，返回一个新的流。
coGroup：对两个流进行关联操作，返回一个新的流。
process：自定义操作函数，可以对流中的元素进行任意操作。
sum：对流中的元素进行求和操作，返回一个新的流。
min：对流中的元素进行最小值操作，返回一个新的流。
max：对流中的元素进行最大值操作，返回一个新的流。
count：对流中的元素进行计数操作，返回一个新的流。
reduce：对流中的元素进行自定义聚合操作，返回一个新的流。
aggregate：对流中的元素进行自定义聚合操作，返回一个新的流。
fold：对流中的元素进行自定义聚合操作，返回一个新的流。
timeWindow：基于时间的滚动窗口函数，将流数据按照时间分成多个窗口进行聚合操作。
countWindow：基于数量的滚动窗口函数，将流数据按照数量分成多个窗口进行聚合操作。
windowAll：将整个流数据作为一个窗口进行聚合操作。
sessionWindow：基于会话的窗口函数，将流数据按照会话分成多个窗口进行聚合操作。
globalWindow：将整个流数据作为一个全局窗口进行聚合操作。

更详细的请查询官方文档

DataSet API

DataSet API是Flink处理有限数据集的主要API，它提供了丰富的操作符和函数，可以对数据集进行转换、聚合、过滤、连接等操作。以下是DataSet API中常用的操作函数：

map：对数据集中的每个元素进行映射操作，返回一个新的数据集。

flatMap：对数据集中的每个元素进行扁平化操作，返回一个新的数据集。

filter：对数据集中的每个元素进行过滤操作，返回一个新的数据集。

groupBy：对数据集中的元素进行分组操作，返回一个GroupedDataSet。

reduce：对GroupedDataSet中的元素进行聚合操作，返回一个新的数据集。

join：对两个数据集进行关联操作，返回一个新的数据集。

coGroup：对两个数据集进行关联操作，返回一个新的数据集。

distinct：对数据集中的元素进行去重操作，返回一个新的数据集。

union：将多个数据集合并成一个数据集，返回一个新的数据集。

cross：对两个数据集进行笛卡尔积操作，返回一个新的数据集。

除了以上常用的操作函数，DataSet API还提供了许多其他的操作函数，如聚合函数、分区函数、排序函数等。掌握DataSet API的操作函数可以帮助我们更好地使用Flink处理有限数据集。

更详细的请查询官方文档

实践Flink应用

简单的通过DataStream API实现WordCount

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;

public class WordCount {
   

    public static void main(String[] args) throws Exception {
   

        // 创建执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        // 读取数据
        DataStream<String> text = env.socketTextStream("localhost", 9999);

        // 计算
        DataStream<Tuple2<String, Integer>> counts =
                text.flatMap(new FlatMapFunction<String, Tuple2<String, Integer>>() {
   
                    @Override
                    public void flatMap(String value, Collector<Tuple2<String, Integer>> out) {
   
                        String[] words = value.split(" ");
                        for (String word : words) {
   
                            out.collect(new Tuple2<>(word, 1));
                        }
                    }
                })
                .keyBy(0)
                .sum(1);

        // 输出结果
        counts.print();

        // 执行任务
        env.execute("WordCount");
    }
}

高级的实践，使用Flink的DataStream API实现实时热门商品统计

import org.apache.flink.api.common.functions.AggregateFunction;
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.TimeCharacteristic;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.KeyedProcessFunction;
import org.apache.flink.streaming.api.functions.windowing.ProcessWindowFunction;
import org.apache.flink.streaming.api.windowing.time.Time;
import org.apache.flink.streaming.api.windowing.windows.TimeWindow;
import org.apache.flink.util.Collector;

import java.util.Comparator;
import java.util.PriorityQueue;

public class HotItems {
   

    public static void main(String[] args) throws Exception {
   

        // 创建执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);

        // 读取数据
        DataStream<String> input = env.readTextFile("input.txt");

        // 转换数据格式
        DataStream<ItemViewCount> itemViewCounts = input
                .flatMap(new FlatMapFunction<String, ItemViewCount>() {
   
                    @Override
                    public void flatMap(String value, Collector<ItemViewCount> out) {
   
                        String[] fields = value.split(",");
                        long timestamp =

最低0.47元/天解锁文章

xfgg

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Flink学习（一）

Java可以使用分布式计算来处理大规模的数据和计算任务，提高计算效率和性能。以下是一些Java分布式计算的例子：Apache Hadoop：Hadoop是一个开源的分布式计算框架，可以处理大规模数据集的分布式存储和处理。它使用Java编写，可以在分布式环境中运行MapReduce程序。Apache Spark：Spark是一个快速的、通用的分布式计算系统，可以处理大规模数据集的分布式存储和处理。它使用Java编写，可以在分布式环境中运行Spark程序。
复制链接

扫一扫