第二章、Flink 批处理 API（正在更新）

最新推荐文章于 2023-10-11 10:05:51 发布
最新推荐文章于 2023-10-11 10:05:51 发布
阅读量661 收藏 2
点赞数
分类专栏： # Flink 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43528451/article/details/113361196
版权

第二章、Flink 批处理 API

  • 掌握Flink批处理SourceOperator

  • 掌握Flink批处理TransformationOperator

  • 掌握Flink批处理SinkOperator

  • 了解Flink的累加器

  • 掌握Flink的广播变量

  • 掌握Flink的分布式缓存

1. API和编程模型

1.1API

​ Flink提供了多个层次的API供开发者使用，越往上抽象程度越高，使用起来越方便；越往下越
底层，使用起来难度越大

image-20210128225655062

https://ci.apache.org/projects/flink/flink-docs-release-1.10/concepts/programming-model.html#levels-of-abstraction

image-20210128225733613

1.2编程模型

Flink应用程序结构主要包含：Source、Transformation、Sink，:

image-20210128225923443

https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/api_concepts.html#anatomy-of-a-flink-program

Fink DataSet API编程基本步骤：

1、获取执行环境（ExecutionEnvironment）

image-20210128230104627

2.加载、创建初始化数据集（DataSet）

image-20210128230155845

3.对数据集进行各种转换（Transformation）操作，生成新的DataSet

image-20210128230304353

4.指定计算的结果存储在哪个位置

image-20210128230506929

Streaming Processing：https://ci.apache.org/projects/flink/flink-docs-release-1.11/learn-flink/#stream-processing

image-20210128230537881

https://ci.apache.org/projects/flink/flink-docs-release-1.10/concepts/programming-model.html#programs-and-dataflows

1.3词频统计WordCount

​ 分别使用java语言和scala语言，基于Flink流式分析引擎对批处理数据进行离线分析，实现大数据经典程序：词频统计WordCount。

1.3.1java版本

​ 从本地文件系统加载文本文件数据，按照单词统计次数，最终按照词频降序排序。

package batcch.com.tunan.flink.start;

import org.apache.flink.api.common.functions.FilterFunction;
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.common.operators.Order;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.operators.AggregateOperator;
import org.apache.flink.api.java.operators.DataSource;
import org.apache.flink.api.java.operators.SortPartitionOperator;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.util.Collector;

/**
 * 基于Flink引擎实现批处理词频统计WordCount：过滤filter、排序sort等操作
 */
public class BatchWorkCount {
    public static void main(String[] args) throws Exception {
        //1,执行环境-env
        ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();

        //2、数据源-source
        DataSource<String> inputDataSet = env.readTextFile("datas\\wordcount.data");
        //3、数据转换-transformation
        AggregateOperator<Tuple2<String, Integer>> aggregateDataSet = inputDataSet
                //过滤操作
                .filter(new FilterFunction<String>() {
                    @Override
                    public boolean filter(String line) throws Exception {
                        return null != line && line.trim().length() > 0;
                    }
                })
                //单词分割
                .flatMap(new FlatMapFunction<String, String>() {
                    @Override
                    public void flatMap(String line, Collector<String> out) throws Exception {
                        String[] words = line.trim().split("\\W+");
                        for (String word : words) {
                            out.collect(word);
                        }
                    }
                })
                //转换二元组，表示单词出现一次
                .map(new MapFunction<String, Tuple2<String, Integer>>() {
                    @Override
                    public Tuple2<String, Integer> map(String word) throws Exception {
                        return Tuple2.of(word, 1);
                    }
                })
                //分组聚合
                .groupBy(0)//只能针对元组类型数据进行数据聚合
                .sum(1);
                        /*
                (hadoop,7)
                (hive,3)
                (flink,1)
                (hbase,1)
                (spark,9)
                */
                //aggregateDataSet.print();
                // TODO: 对计算结果，进行降序排序， 设置Operator并行度为1，进行全局排序
                /*
                (spark,9)
                (hadoop,7)
                (hive,3)
                (flink,1)
                (hbase,1)
                */

        SortPartitionOperator<Tuple2<String, Integer>> sortDataSet = aggregateDataSet
                .sortPartition(1, Order.DESCENDING)
                .setParallelism(1);

        //4、数据终端-sink

        /*
        System.out.println(); -> print()
        System.err.println(); -> printToErr() ,控制台打印红色字体
        */
        sortDataSet.printToErr();

        //5、触发执行
    }
}
1.3.2 Scala版本

​ 从本地文件加载文本文件数据，按照单词统计次数，最终按照降序排序。

package cn.itcast.flink.start

import org.apache.flink.api.common.operators.Order
import org.apache.flink.api.scala.{DataSet, ExecutionEnvironment}
import org.apache.flink.api.scala._

/**
 * 使用Scala语言实现词频统计：WordCount
 */
object FlinkWordCount {
  def main(args: Array[String]): Unit = {
    // 1. 执行环境-env
    val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment
    // 2. 数据源-source
    val textDataSet: DataSet[String] = env.readTextFile("datas/wordcount.data")
    // 3. 数据转换-transformation
    val countDataSet: DataSet[(String, Int)] = textDataSet
      // 第一步、过滤数据
      .filter(line => null != line && line.trim.length > 0)
      // 第二步、将每行数据分割为单词
      .flatMap(line => line.trim.toLowerCase.split("\\W+"))
      // 第三步、转换为二元组，表示单词出现一次
      .map(word => (word, 1))
      // 第四步、按照单词分词，累加统计个数
      .groupBy(0).sum(1)
      // 第五步、按照词频count降序排序
      .sortPartition(1, Order.DESCENDING).setParallelism(1)
    //4.数据输出-sink
    countDataSet.print()
  }
}

2. 数据源 Source

2.1基于集合的Source

  • API

    一般用于学习测试时模拟数据使用

    1. env.fromElements(可变参数)；
    2. env.fromColletion(各种集合)
    3. env.generateSequence(开始，结束)

  • 代码演示

    package cn.itcast.flink.source;

import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.operators.DataSource;

import java.util.Arrays;

/*
* DataSet API批处理中数据源：基于集合Source
* 1.env.fromElements(可变参数)；
* 2.env.fromColletion(各种集合)
* 3.env.generateSequence(开始，结束)
* */
public class BatchSourceCollectionDemo {
    public static void main(String[] args) throws Exception {
        //1、执行环境-env
        ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
        //2、数据源-source
        //方式一、可变参数列表
        DataSource<String> dataSet01 = env.fromElements("hadoop", "flink", "spark");
        dataSet01.printToErr();
        //方式二、集合、如列表list
        DataSource<String> dataSet02 = env.fromCollection(Arrays.asList("hadoop", "spark", "flink"));
        dataSet02.printToErr();
        //方式三、序列
        DataSource<Long> dataSet03 = env.generateSequence(1, 10);
        dataSet03.printToErr();
    }
}

    2.2基于文件的Source

  • API

    1.env.readTextFile(本地文件/HDFS文件); //压缩文件也可以
    2.env.readCsvFile泛型
    Configuration parameters = new Configuration();
    parameters.setBoolean(“recursive.file.enumeration”, true);//设置是否递归读取目录
    3.env.readTextFile(“目录”).withParameters(parameters);

  • 代码演示：

    package cn.itcast.flink.source;

import lombok.Data;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.operators.DataSource;
import org.apache.flink.configuration.Configuration;


/**
 * DataSet API 批处理中数据源：基于文件Source
 * 1.env.readTextFile(本地文件/HDFS文件); //压缩文件也可以
 * 2.env.readCsvFile[泛型]("本地文件/HDFS文件")
 * Configuration parameters = new Configuration();
 * parameters.setBoolean("recursive.file.enumeration", true);//设置是否递归读取目录
 * 3.env.readTextFile("目录").withParameters(parameters);
 */
public class BatchSourceFlieDemo {
    public static void main(String[] args) throws Exception {
        //1\执行环境-env
        ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
        //2.数据源-source
        //文本文件、
        DataSource<String> dataSet01 = env.readTextFile("datas/wordcount.data");
        dataSet01.printToErr();

        //csv文件
        DataSource<Rating> dataSet02 = env
                .readCsvFile("datas/u.data")
                .fieldDelimiter("\t")
                .pojoType(Rating.class, "userId", "movieId", "rating", "timestamp");
        dataSet02.printToErr();

        //目录
        Configuration parameters = new Configuration();
        parameters.setBoolean("recursive.file.enumeration",true);
        DataSource<String> dataSet03 = env.readTextFile("datas/subDatas").withParameters(parameters);
        dataSet03.printToErr();
    }

    @Data
    public static class Rating{
        public Integer userId ;
        public Integer movieId ;
        public Double rating ;
        public Long timestamp ;
    }
}

3.数据终端Sink

  • API

    1.ds.print直接输出到控制台

    2.ds.printToErr()直接输出到控制台，用红色

    3.ds.collect将分布式数据收集为本地集合

    4.ds.setParallelism(1).writeAsText(“本地/HDFS的path”，WriteMode.OVERWEITE)

  • 注意

    在输出到path的时候，可以在前面设置并行度，如果

    并行度>1,则path为目录

    并行度=1，则path为文件名

  • 代码演示

    package cn.itcast.flink.sink;

import org.apache.flink.api.common.functions.RichMapFunction;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.operators.DataSink;
import org.apache.flink.api.java.operators.DataSource;
import org.apache.flink.core.fs.FileSystem;
import scala.Tuple2;

import java.util.List;

/**
 * DataSet API 批处理中数据终端：基于文件Sink
 * 1.ds.print 直接输出到控制台
 * 2.ds.printToErr() 直接输出到控制台,用红色
 * 3.ds.collect 将分布式数据收集为本地集合
 * 4.ds.setParallelism(1).writeAsText("本地/HDFS的path",WriteMode.OVERWRITE)
 *
 * 注意: 在输出到path的时候，可以在前面设置并行度，如果
 * 并行度>1，则path为目录
 * 并行度=1，则path为文件名
 */
public class BatchSinkFlieDemo {
    public static void main(String[] args) throws Exception {
        //1,执行环境
        ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
        //2.数据源-source：基于文件数据Source
        DataSource<String> dataSet = env.fromElements("mapreduce", "spark", "flink");
        //3.数据终端-sink
        dataSet.print();
        dataSet.printToErr();
        //DataSet转换为本地集合，比如列表List
        List<String> list = dataSet.collect();
        System.out.println(list);

        //保存数据到文本文件
        dataSet.writeAsText("datas/sink.txt").setParallelism(1);//文件的并行度为1，写入文件
        //保存至scv文件，数据类型必须为二元组
        dataSet
                //todo:使用加强版映射函数：RichMapFunction:加强版的能获取分区号之类的
                .map(new RichMapFunction<String, Tuple2<Integer, String>>() {
                    @Override
                    public Tuple2<Integer, String> map(String value) throws Exception {
                        //获取分区索引
                        int index = getRuntimeContext().getIndexOfThisSubtask();
                        return new Tuple2<>(index, value);
                    }
                })
                .writeAsCsv("datas/sink-csv.txt", FileSystem.WriteMode.OVERWRITE)
                .setParallelism(1);
        //4.执行-execute
        env.execute(BatchSinkFlieDemo.class.getSimpleName());
    }
}

4. 数据转换 Transformation

官方文档：https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/batch/

4.1英文版API解释

image-20210130211214623

image-20210130211223431

image-20210130211234124

4.2中文版API解释

image-20210130211318491

4.3基本函数

4.3.1map
  • API

map：将函数作用在集合中的每一个元素上,并返回作用后的结果

image-20210130211415100

  • 需求

    将click.log中的每一条日志转为javaBean对象

    {
"browserType": "360浏览器",
"categoryID": 2,
"channelID": 3,
"city": "昌平",
"country": "china",
"entryTime": 1577890860000,
"leaveTime": 1577898060000,
"network": "移动",
"produceID": 11,
"province": "北京",
"source": "必应跳转",
"userID": 18
}

    封装JSON数据实体类ClickLog：

    package cn.itcast.flink.transformation;
import lombok.Data;
@Data
public class ClickLog {
//频道ID
private long channelId;
//产品的类别ID
private long categoryId;
//产品ID
private long produceId;
//用户的ID
private long userId;
//国家
private String country;
//省份
private String province;
//城市
private String city;
//网络方式
private String network;
//来源方式
private String source;
//浏览器类型
private String browserType;
//进入网站时间
private Long entryTime;
//离开网站时间
private Long leaveTime;
}

  • 代码实现

    package cn.itcast.flink.transformation;

import com.alibaba.fastjson.JSON;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.operators.DataSource;
import org.apache.flink.api.java.operators.MapOperator;

public class Testclinklog {
    public static void main(String[] args) throws Exception {
        //1.执行环境-env
        ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
        //2.数据源-source
        DataSource<String> logDataSet = env.readTextFile("datas/click.log");
        //3,数据转换-Transformation
        //todo:a.使用map函数，将每条日志数据转换为实体类对象
        MapOperator<String, ClickLog> clickLogDataSet = logDataSet.map(new MapFunction<String, ClickLog>() {
            @Override
            public ClickLog map(String log) throws Exception {
                //使用fastjoin类库提供API解析
                ClickLog clickLog = JSON.parseObject(log, ClickLog.class);
                return clickLog;
            }
        });
        clickLogDataSet.printToErr();

    }
}
4.3.2flatMap

  • API

    flatMap:将集合中的每个元素变成一个或多个元素，并返回扁片规划之后的结果image-20210130214011519

  • 需求

    将每一条clinkLog转换为如下三个维度

    (年-月-日-时,1)
    (年-月-日,1)
    (年-月,1)

  • 代码实现：

        //todo :b:使用flatMap函数，针对日期时间entryTime，获取不同形式时间日期
        /*
        * entryTime=1577876460000 -》Long 类型
        *
        * 年月：yyyy-MM
        * 年月日：yyyy-MM-dd
        * 年月日时：yyyy-MM-dd:HH
        *
        * */
        FlatMapOperator<ClickLog, String> timeDataSet = clickLogDataSet.flatMap(new FlatMapFunction<ClickLog, String>() {
            @Override
            public void flatMap(ClickLog clickLog, Collector<String> out) throws Exception {
                Long entryTime = clickLog.getEntryTime();
                //使用工具类:lang3包DateFormatUtils
                String month = DateFormatUtils.format(entryTime, "yyyy-MM");
                out.collect(month);
                String day = DateFormatUtils.format(entryTime, "yyyy-MM-dd");
                out.collect(day);
                String hour = DateFormatUtils.format(entryTime, "yyyy-MM-dd:HH");
                out.collect(hour);
            }
        });
        timeDataSet.printToErr();
4.3.3 filter

  • API

    fliter：按照指定的条件对集合中的元素进行过滤，过滤出返回true/符合条件的元素

    image-20210130221320107

  • 需求：

    过滤出clickLog中使用谷歌浏览器访问的日志

  • 代码实现

// TODO: c. 使用filter函数，过滤出符合条件数据：谷歌浏览器
        FilterOperator<ClickLog> filterDataSet = clickLogDataSet.filter(new FilterFunction<ClickLog>() {
            @Override
            public boolean filter(ClickLog clickLog) throws Exception {
                return "谷歌浏览器".equals(clickLog.getBrowserType());
            }
        });
        filterDataSet.printToErr();
4.3.4groupBy

  • API

    groupBy：对集合中的元素按照制定的key进行分组

image-20210130222504664

  • 需求

    对ClickLog按照浏览器类型记为1并分组

  • 代码实现

            //将ClickLog数据类型转换为二元组：Key->BrowserType,Value -> 1
        MapOperator<ClickLog, Tuple2<String, Integer>> tupleDataSet = clickLogDataSet.map(new MapFunction<ClickLog, Tuple2<String, Integer>>() {
            @Override
            public Tuple2<String, Integer> map(ClickLog clickLog) throws Exception {
                return Tuple2.of(clickLog.getBrowserType(), 1);
            }
        });
        //todo:d.使用groupBy函数，针对二元组数据进行分组
        UnsortedGrouping<Tuple2<String, Integer>> groupDataset = tupleDataSet.groupBy(0);
4.3.5sum

  • API

    sum:按照指定的字段对集合中的元素进行求和

  • 需要：

    统计各个浏览器类型的访问量

  • 代码实现

            //todo：e使用sum函数，对组内数据进行求和
        AggregateOperator<Tuple2<String, Integer>> sumDataSet = groupDataset.sum(1);
        /*
        (qq浏览器,29)
        (火狐,24)
        (360浏览器,23)
        (谷歌浏览器,24)
        * */
        sumDataSet.printToErr();
4.3.6min和minBy/max和maxBy

  • API

    min只会求出最小的那个字段,其他的字段不管
    minBy会求出最小的那个字段和对应的其他的字段
    max和maxBy同理

  • 需求

    求最少的访问量以及对应的浏览器类型

  • 代码实现：

    // TODO: f. 使用min函数，指定字段最小值, 只会求出最小的那个字段,其他的字段不管
AggregateOperator<Tuple2<String, Integer>> minDataSet = sumDataSet.min(1);
minDataSet.printToErr();//(360浏览器,23)
// TODO: g. 使用minBy函数，minBy会求出最小的那个字段和对应的其他的字段
ReduceOperator<Tuple2<String, Integer>> minByDataSet = sumDataSet.minBy(1);
minByDataSet.printToErr();// (360浏览器,23)
4.3.7 aggregate

  • API

    aggregate：按照指定的聚合函数和字段对集合中的元素进行聚合，如SUM,MIN.MAX

  • 需求：

    使用aggregate完成sum和min

//todo:h.使用aggregate函数对分组数据进行聚合操作
AggregateOperator<Tuple2<String, Integer>> aggregateDataSet = groupDataset.aggregate(Aggregations.SUM, 1);
aggregateDataSet.printToErr();
4.3.8reduce和reduceGroup

  • API

    reduce:对集合中的元素进行聚合

image-20210130230107943

reduceGroup：对集合中的元素先进行预聚合在合并结果

image-20210130230632790

  • 需求：

    使用reduce和reduceGroup完成求sum

  • 代码实现

//todo:i.使用reduce函数，对分区过数据进行聚合操作
        ReduceOperator<Tuple2<String, Integer>> reduceDataSet = groupDataset.reduce(new ReduceFunction<Tuple2<String, Integer>>() {
            @Override
            public Tuple2<String, Integer> reduce(Tuple2<String, Integer> t1, Tuple2<String, Integer> t2) throws Exception {
                String key = t1.f0;//二元组中的key
                int sum = t1.f1 + t2.f1;//二元组中的值的和
                return Tuple2.of(key, sum);
            }
        });
        reduceDataSet.printToErr();

//todo:j.使用reduceGroup函数，对分区过数据进行聚合操作，推荐使用此函数
        GroupReduceOperator<Tuple2<String, Integer>, Tuple2<String, Integer>> reduceGroupDataSet = groupDataset.reduceGroup(
                new GroupReduceFunction<Tuple2<String, Integer>, Tuple2<String, Integer>>() {
                    @Override
                    public void reduce(Iterable<Tuple2<String, Integer>> iter,
                                       Collector<Tuple2<String, Integer>> out) throws Exception {
                        //对组内数据进行聚合操作
                        //todo：定义临时变量
                        String key = null;
                        Integer tmp = 0;
                        for (Tuple2<String, Integer> item : iter) {
                            key = item.f0;
                            tmp += item.f1;
                        }
                        out.collect(Tuple2.of(key,tmp));
                    }
                });
        reduceDataSet.printToErr();
4.3.9union

  • API

    ​ union：将两个集合进行合并单不会去重

image-20210130232829627

  • 需求:

    读取click.log和click2.log并使用union合并结果

  • 代码实现:

 //todo:k.使用union函数，将2个DataSet数据集进行合并
        MapOperator<String, ClickLog> dataSet01 = env.readTextFile("datas/input/click1.log")
                .map(new MapFunction<String, ClickLog>() {
                    @Override
                    public ClickLog map(String log) throws Exception {
                        return JSON.parseObject(log, ClickLog.class);
                    }
                });
        MapOperator<String, ClickLog> dataSet02 = env.readTextFile("datas/input/click2.log")
                .map(new MapFunction<String, ClickLog>() {
                    @Override
                    public ClickLog map(String log) throws Exception {
                        return JSON.parseObject(log, ClickLog.class);
                    }
                });

        UnionOperator<ClickLog> unionDataSet = dataSet01.union(dataSet02);
        System.out.println("dataSet01数据集条目数： " + dataSet01.count());
        System.out.println("dataSet02数据集条目数： " + dataSet02.count());
        System.out.println("unionDataSet数据集条目数： " + unionDataSet.count());
4.3.10distinct

  • API

    distinct：对集合中的元素进行去重

image-20210130234832193

  • 需求:

    对合并后的结果进行去重

  • 代码实现:

// TODO: l. 使用distinct函数，进行数据去重
        DistinctOperator<ClickLog> distinctDataSet = unionDataSet.distinct();// 如果是整条数据相同，进行去重
        // 指定字段，当值相同时，进行去重
        DistinctOperator<ClickLog> resultDataSet = unionDataSet.distinct("browserType");
        System.out.println("指定browserType字段，数据去重以后条目数： " + resultDataSet.count());
章鱼哥TuNan&Z
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Flink JavaAPI开发
05-30
此案例使用的是IDEA开发工具，项目属于maven项目 ...使用Flink JavaAPI实现的流处理、批处理（其中还包括Table API的使用和SQL API的使用），主要针对（《Flink入门与实战》徐葳著）教材中的实验使用
更快更稳更易用 - Flink 批处理能力演进.pdf
03-21
《更快更稳更易用 - Flink 批处理能力演进》 Apache Flink，作为一个先进的流处理框架，近年来也在不断拓展其在批处理领域的功能。随着Flink 1.16版本的发布，Flink的批处理能力得到了显著提升，旨在吸引并满足离线...
Flink_API_批处理WordCount和流处理WordCount
Faded1573606285的博客
11-20 246
1.搭建maven工程 flink-2019 1.2pom文件 <?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance...
【云星数据---Apache Flink实战系列(精品版)】：Apache Flink批处理API详解与编程实战016--DateSet实用API详解016
云星数据-http://www.cloud-star.com.cn
11-17 7172
DateSet的API详解十六writeAsCsvdef writeAsCsv(filePath: String, rowDelimiter: String = ..., fieldDelimiter: String = ..., writeMode: WriteMode = null): DataSink[T] 参数说明： rowDelimiter：行分隔符 fieldDelimiter：列分隔
【云星数据---Apache Flink实战系列(精品版)】：Apache Flink批处理API详解与编程实战022--DateSet实用API详解022
云星数据-http://www.cloud-star.com.cn
11-17 6958
Flink DateSet定制API详解(Scala版) -003Reduce以element为粒度，对element进行合并操作。最后只能形成一个结果。执行程序：package code.book.batch.dataset.advance.apiimport org.apache.flink.api.common.functions.ReduceFunction import org.apach
Apache Flink - Batch(DataSet API)
weixin_30505751的博客
08-13 196
Flink DataSet API编程指南: Flink中的DataSet程序是实现数据集转换的常规程序(例如，过滤，映射，连接，分组)。数据集最初是从某些来源创建的(例如，通过读取文件或从本地集合创建)。结果通过接收器返回，接收器可以将数据写入(分布式)文件或标准输出(命令行终端)。 public class WordCountExample { public stat...
【基础篇】二、Flink的批处理和流处理API
最新发布
llg___的博客
10-11 511
但是，由于Java中泛型擦除的存在，在某些特殊情况下（比如Lambda表达式中），自动提取的信息是不够精细的——只告诉Flink当前的元素由“船头、船身、船尾”构成，根本无法重建出“大船”的模样；flatMap方法的形参是一个FlatMapFunction类型的对象，FlatMapFunction是一个接口，new接口的对象得实现它的方法flatMap，该方法两个形参，第一个即进入Flink的源数据，demo中是String，第二个参数是Collector类型的收集器，向下游发送数据。
通俗易懂之Flink DataStream API开发
02-07
《Flink DataStream API开发详解》 在大数据处理领域，Apache Flink以其高效实时处理能力备受关注，尤其在流处理方面，Flink的DataStream API提供了强大的工具。本篇将深入探讨流处理的基本概念，以及Flink ...
Flink window API.pptx
02-03
Flink的窗口API是处理无界数据流的关键工具，它允许开发者将无限的数据流分割成有限的数据集，以便进行有效的分析和处理。在大数据和实时分析的场景中，如电商用户行为分析、实时热门商品统计、实时流量统计、市场...
Flink+Kafka的JavaAPI应用
05-30
此案例使用的是IDEA开发工具，项目...使用JavaAPI操作Flink的流处理，Flink从Kafka中获取数据，执行处理后再执行输出。 根据（《Flink入门与实战》徐葳著）教材最后的综合案例改变，适合没有学习不会使用Flume的人使用
Flink教程（10）- Flink批流一体API（其它）
阿甘兄
03-07 1053
文章目录01 引言02 累加器2.1 相关API2.2 示例代码03 广播变量3.1 原理3.2 示例代码04 分布式缓存4.1 原理4.2 示例代码05 文末 01 引言 在前面的博客，我们已经对Flink的程序模型里的Connectors使用有了一定的了解了，有兴趣的同学可以参阅下： 《Flink教程（01）- Flink知识图谱》 《Flink教程（02）- Flink入门》 《Flink教程（03）- Flink环境搭建》 《Flink教程（04）- Flink入门案例》 《Flink教程（05）
【云星数据---Apache Flink实战系列(精品版)】：Apache Flink批处理API详解与编程实战008--DateSet实用API详解008
云星数据-http://www.cloud-star.com.cn
11-16 7137
DateSet的API详解八distinct def distinct(firstField: String, otherFields: String*): DataSet[T] def distinct(fields: Int*): DataSet[T] def distinct(): DataSet[T] def distinct[K](fun: (T) ⇒ K)(implicit arg0:
Flink 常用 API 详解
chbxw
06-02 7289
一、DataStream 的编程模型 二、Flink 的 DataSource 数据源 2.1、HDFS 2.2、基于集合的源 2.3、Kafka
【云星数据---Apache Flink实战系列(精品版)】：Apache Flink批处理API详解与编程实战023--DateSet实用API详解023
云星数据-http://www.cloud-star.com.cn
11-17 6795
Flink DateSet定制API详解(Scala版) -004Joinjoin将两个DataSet按照一定的关联度进行类似SQL中的Join操作。执行程序：package code.book.batch.dataset.advance.apiimport org.apache.flink.api.scala.{ExecutionEnvironment, _}object JoinFunction
Flink学习笔记（二）Flink常用API详解
zhang09090606的博客
03-12 2370
提供了对时间和状态的细粒度控制，简洁性和易用性较差，主要应用在对一些复杂事件的处理逻辑上。
flink batch dataset 的基本操作
congtuo7221的博客
01-23 537
package hgs.flink_lesson import org.apache.flink.api.java.utils.ParameterTool ...
flink1.7.2 tableapi批处理示例
测试0901-1
03-16 309
flink1.7.2 tableapi批处理示例 源码 https://github.com/opensourceteams/flink-maven-scala 概述 本文为flink1.7.2 tableapi批处理示例 主要操作包括: print table,DataSet 转换成table,Scan,select,as,where / filt...
Flink流处理之迭代API分析
VinoYang的专栏
12-04 5260
Flink在DataStream中也是通过一个特定的可迭代的流（IterativeStream）来构建相关的迭代处理逻辑，这一点跟DataSet提供的可迭代的数据集（IterativeDataSet）的是类似的。
flink实现流处理和批处理
zouyang920的博客
04-23 761
1.流处理系统流处理系统，其节点间数据传输的标准模型是：当一条数据被处理完成后，序列化到缓存中，然后立刻通过网络传输到下一个节点，由下一个节点继续处理。2.批处理系统批处理系统，其节点间数据传输的标准模型是：当一条数据被处理完成后，序列化到缓存中，并不会立刻通过网络传输到下一个节点，当缓存写满，就持久化到本地硬盘上，当所有数据都被处理完成后，才开始将处理后的数据通过网络传输到下一个节点。
flink批处理source
08-31
Flink中的批处理作业可以使用多种不同的数据源。以下是一些常用的批处理数据源示例： 1. 文件源：可以从本地文件系统或分布式文件系统（如HDFS）中读取数据。您可以使用`readTextFile`方法读取文本文件，或者使用`...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

章鱼哥TuNan&Z

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值