flink重温笔记（四）：Flink 流批一体 API 开发——物理分区（上）

已于 2024-02-15 23:57:48 修改
阅读量1.4k 收藏 19
点赞数 30
分类专栏： Flink重温笔记 文章标签： flink 笔记 大数据 学习方法 数据仓库
于 2024-02-15 23:57:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_60732994/article/details/136124820
版权

Flink学习笔记

前言：今天是学习flink的第四天啦！学习了物理分区的知识点，这一次学习了前4个简单的物理分区，称之为简单分区篇！
Tips：我相信自己会越来会好的，明天攻克困难分区篇，加油！

二、Flink 流批一体 API 开发

3. 物理分区

3.1 Global Partitioner

该分区器会将所有的数据都发送到下游的某个算子实例(subtask id = 0)

在这里插入图片描述

实例：编写Flink程序，接收socket的单词数据，以进程标记查看分区数据情况。

package cn.itcast.day04.partition;

import org.apache.flink.api.common.functions.RichMapFunction;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.sink.RichSinkFunction;

/**
 * @author lql
 * @time 2024-02-15 22:54:35
 * @description TODO
 */
public class GlobalPartitioningDemo {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(new Configuration());

        //Source是一个非并行的Source
        //并行度是1
        DataStreamSource<String> lines = env.socketTextStream("node1", 9999);

        // 对每个输入的数据进行映射处理，给每个单词添加上一个字符串以及当前所在的子任务编号
        SingleOutputStreamOperator<String> mapped = lines.map(new RichMapFunction<String, String>() {
            @Override
            public String map(String value) throws Exception {
                int indexOfThisSubtask = getRuntimeContext().getIndexOfThisSubtask();
                return value + " : " + indexOfThisSubtask;
            }
        }).setParallelism(3); // 针对算子将并行度设置为 3;

        // 对数据流进行 global，将其随机均匀地划分到每个分区中
        DataStream<String> global = mapped.global();

        // 定义一个 sink 函数，输出每个单词和所在的子任务编号
        global.addSink(new RichSinkFunction<String>(){
            @Override
            public void invoke(String value, Context context) throws Exception {
                int index = getRuntimeContext().getIndexOfThisSubtask();
                System.out.println(value + "->" + index);
            }
        });

        env.execute();
    }
}

结果：

hadoop : 1->0
hadoop : 2->0
hadoop : 0->0
spark : 1->0
spark : 2->0

总结：

  • 1- 多个进程处理的数据，汇总到 sink 第一个分区第一个进程
  • 2- 数据多出梳理，合并一处的现象
  • 3- getRuntimeContext（）方法在 Rich Function 中，最后的 addSink（）用心良苦！
  • 4- 并行任务之间共享相同状态的场景，如全局计数器等
3.2 Shuffer Partition

根据均匀分布随机划分元素。

在这里插入图片描述

实例：编写Flink程序，接收socket的单词数据，并将每个字符串均匀的随机划分到每个分区。

package cn.itcast.day04.partition;

import org.apache.flink.api.common.functions.RichMapFunction;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.sink.RichSinkFunction;

/**
 * @author lql
 * @time 2024-02-15 23:26:49
 * @description TODO:编写Flink程序，接收socket的单词数据，并将每个字符串均匀的随机划分到每个分区
 */
public class ShufflePartitioningDemo {
    public static void main(String[] args) throws Exception {

        StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(new Configuration());

        //Source是一个非并行的Source
        //并行度是1
        DataStreamSource<String> lines = env.socketTextStream("node1", 9999);

        //并行度2
        SingleOutputStreamOperator<String> mapped = lines.map(new RichMapFunction<String, String>() {
            @Override
            public String map(String value) throws Exception {
                int indexOfThisSubtask = getRuntimeContext().getIndexOfThisSubtask();
                return value + " : " + indexOfThisSubtask;
            }
        }).setParallelism(1);

        //shuffle！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！
        DataStream<String> shuffled = mapped.shuffle();

        shuffled.addSink(new RichSinkFunction<String>() {
            @Override
            public void invoke(String value, Context context) throws Exception {
                int index = getRuntimeContext().getIndexOfThisSubtask();
                System.out.println(value + " -> " + index);
            }
        });
        env.execute();
    }
}

结果：

结果现象：（没有规律）
           hadoop : 0 -> 0
           hadoop : 0 -> 4
           flink  : 0 -> 6
           flink  : 0 -> 7

总结：

  • 1- 它将数据均匀地分配到下游任务的每个并行实例中，然后再对每个并行任务的数据进行分区
  • 2- 这种分发方式适用于数据量比较大的场景，可以减少网络传输压力和降低数据倾斜的概率。
3.3 Broadcast Partition

发送到下游所有的算子实例

在这里插入图片描述

实例：编写Flink程序，接收socket的单词数据，并将每个字符串广播到每个分区。

package cn.itcast.day04.partition;

import org.apache.flink.api.common.functions.RichMapFunction;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.sink.RichSinkFunction;

/**
 * @author lql
 * @time 2024-02-15 23:35:59
 * @description TODO
 */
public class BroadcastPartitioningDemo {
    public static void main(String[] args) throws Exception {

        StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(new Configuration());

        //Source是一个非并行的Source
        //并行度是1
        DataStreamSource<String> lines = env.socketTextStream("node1", 9999);

        //并行度2
        SingleOutputStreamOperator<String> mapped = lines.map(new RichMapFunction<String, String>() {
            @Override
            public String map(String value) throws Exception {
                int indexOfThisSubtask = getRuntimeContext().getIndexOfThisSubtask();
                return value + " : " + indexOfThisSubtask;
            }
        }).setParallelism(1);

        //广播，上游的算子将一个数据广播到下游所以的subtask
        DataStream<String> shuffled = mapped.broadcast();

        shuffled.addSink(new RichSinkFunction<String>() {
            @Override
            public void invoke(String value, Context context) throws Exception {
                int index = getRuntimeContext().getIndexOfThisSubtask();
                System.out.println(value + " -> " + index);
            }
        });

        env.execute();
    }
}

结果：

hadoop : 0 -> 0
hadoop : 0 -> 2
hadoop : 0 -> 1
hadoop : 0 -> 3
hadoop : 0 -> 4
hadoop : 0 -> 6
hadoop : 0 -> 5
hadoop : 0 -> 7
spark : 0 -> 3
spark : 0 -> 2
spark : 0 -> 6
spark : 0 -> 4
spark : 0 -> 0
spark : 0 -> 1
spark : 0 -> 5
spark : 0 -> 7

总结：

  • 均匀广播数据
3.4 Rebalance Partition

通过循环的方式依次发送到下游的task

在这里插入图片描述

实例：轮询发送数据

package cn.itcast.day04.partition;

import org.apache.flink.api.common.functions.FilterFunction;
import org.apache.flink.api.common.functions.RichMapFunction;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

/**
 * @author lql
 * @time 2024-02-15 23:41:46
 * @description TODO: flink的数据倾斜解决方案：轮询发送（当设置并行度为1时）
 */
public class RebalanceDemo {
    public static void main(String[] args) throws Exception {
        /**
         * 构建批处理运行环境
         * 使用 env.generateSequence 创建0-100的并行数据
         * 使用 fiter 过滤出来 大于8 的数字
         * 使用map操作传入 RichMapFunction ，将当前子任务的ID和数字构建成一个元组
         * 在RichMapFunction中可以使用 getRuntimeContext.getIndexOfThisSubtask 获取子任务序号
         * 打印测试
         */
        //TODO 构建批处理运行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        //TODO 使用 env.generateSequence 创建0-100的并行数据
        DataStream<Long> dataSource = env.generateSequence(0, 100);

        //TODO 使用 fiter 过滤出来 大于8 的数字
        SingleOutputStreamOperator<Long> filteredDataSource = dataSource.filter(new FilterFunction<Long>() {
            @Override
            public boolean filter(Long aLong) throws Exception {
                return aLong > 8;
            }
        });

        //解决数据倾斜的问题
        DataStream<Long> rebalance = filteredDataSource.rebalance();

        //TODO 使用map操作传入 RichMapFunction ，将当前子任务的ID和数字构建成一个元组
        //查看92条数据分别被哪些线程处理的，可以看到每个线程处理的数据条数
        //spark中查看数据属于哪个分区使用哪个函数？mapPartitionWithIndex
        //TODO 在RichMapFunction中可以使用 getRuntimeContext.getIndexOfThisSubtask 获取子任务序号
        SingleOutputStreamOperator<Tuple2<Long, Integer>> tuple2MapOperator = rebalance.map(new RichMapFunction<Long, Tuple2<Long, Integer>>() {
            @Override
            public Tuple2<Long, Integer> map(Long aLong) throws Exception {
                return Tuple2.of(aLong, getRuntimeContext().getIndexOfThisSubtask());
            }
        });

        //TODO 打印测试
        tuple2MapOperator.print();

        env.execute();
    }
}

结果：

 * 0-0
 * 0-1
 * 0-2
 * 0-0
 * 0-1
 * 0-2

总结：

  • 1- 轮询发送数据
  • 2- 解决数据倾斜问题
卡林神不是猫
关注
  • 30
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 5
    评论
专栏目录
项目3-Flink-流批一体API1
08-08
【项目3-Flink-流批一体API1】深入解析Flink的流处理与批处理集成 在大数据处理领域，Apache Flink是一个强大的流处理框架，它不仅支持实时数据流的处理，还具备批处理能力。本文将围绕"流处理相关概念"、"流批一体...
面向流批一体的Flink运行时与DataStream API优化.pdf
03-21
【标题】：“面向流批一体的Flink运行时与DataStream API优化.pdf” 【内容概要】：本资料主要探讨了Apache Flink如何实现流批一体的运行时优化以及DataStream API的改进，旨在提升Flink在处理实时和离线数据时的...
【Flink】详解Flink的八种分区
pcx171的博客
01-26 4516
本文详细介绍乐Flink中分区API以及底层分区器并给出图例，从源码角度分析各个分区器的原理，最后介绍了分区器的使用源码。
【Flink 核心篇】Flink 的八种分区策略（源码解读）
书山有路，学海无涯。记录成长，追逐梦想
03-09 1740
Flink 包含 8 种分区策略，这 8 种分区策略（分区器）分别如下面所示，本文将从源码的角度解读每个分区器的实现方式。
Flink物理分区（Physical Partitioning）（出自b站尚硅谷）
qq_24095055的博客
05-26 1603
文章目录前言1. 随机分区（shuffle）2. 轮询分区（Round-Robin）3. 重缩放分区（rescale）4. 广播（broadcast）5. 全局分区（global）6. 自定义分区（Custom） 前言 顾名思义，“分区”（partitioning）操作就是要将数据进行重新分布，传递到不同的流分区去进行下一步处理。其实我们对分区操作并不陌生，前面介绍聚合算子时，已经提到了 keyBy，它就是一种按照键的哈希值来进行重新分区的操作。只不过这种分区操作只能保证把数据按key“分开”，至于分得均不
flink的分区器
全栈开发的博客
09-04 381
flink:1.8.0 flink 和spark一样，都有分区器，也可以自定义分区器，用来决定上下游直接的数据关系 flink中的分区器如下图 ChannelSelector 功能：这个接口的核心功能是对输入的record选择一个逻辑的channel 主要方法： setup初始化channel的数量 selectChannel根据recore和channel的数量来决定发送到下游的哪个channel isBroadcast是否广播模式，决定是否将记录写入到下游的所有channel ...
Flink之Partitioner(分区规则)
AnameJL的博客
08-16 1002
Flink分区规则
基于Java的Clink Flink流批一体开发框架源码
03-25
本项目是基于Java语言开发的Clink Flink流批一体开发框架，旨在为数据处理提供快速集成的开发解决方案。框架包含203个文件，其中主要构成如下： - Java源文件：169个，构成了框架的核心功能； - 配置文件：11个XML...
基于Java的Flink流批一体数据处理快速集成开发框架设计源码
最新发布
03-29
这是一个基于Java的Flink流批一体数据处理快速集成开发框架设计，使用Java语言开发，包含203个文件。主要文件类型包括169个Java源文件、11个XML文件、7个gitignore文件、3个PNG图片文件、2个Markdown文档、2个...
Flink Table Store：流批一体存储.pdf
05-08
综上所述，Flink Table Store 是 Flink 生态系统中的一个重要组成部分，它实现了流批一体的存储方案，旨在提供高效、易用且灵活的数据处理能力，满足现代大数据仓库的实时分析和批量处理需求。通过其丰富的功能和...
flink中的分区、分组与分流
qq_39889944的博客
01-19 906
介绍了flink中分区、分流和分组的概念，并配上了图片与代码。
Flink物理分区的几种方式
FlatTiger的博客
05-28 1291
随机分区（shuffle） 最简单的重分区方式就是shuffle，通过调用DataStream的.shuffle()方法，将上游数据随机分配到下游的并行任务中。 轮询分区（Round-Robin） 轮询也是常见的重分区方式，通过调用DataStream的.rebalance()方法，将上游的数据平均分配到下游所有的并行任务中。 重缩放分区（rescale） 重缩放分区和轮询分区非常类型，当调用resacle()方法时，底层调用的其实就是Round-Robin算法进行轮询。 不同的是，rescale重缩放
Flink大数据项目实战
01-18
本课程基于某电商公司运营实时分析系统（2B），进行全方位、无死角系统讲解。通过本课程的学习，既能获得Flink企业级真实项目经验，也能深入掌握Flink的核心理论知识，还能获得Flink在生产环境中安装、部署、监控的宝贵经验，从而一站式全面、深入掌握Flink技术。
Flink从入门到精通
12-26
本课程从0到1进行Flink的介绍，对当下最火的大数据技术Flink进行深入解析，并结合实际电商项目快速掌握Flink的开发技术。
Flink DataStream API （十）Flink 物理分区（Physical Partitioning）
weixin_45417821的博客
04-14 667
文章目录随机分区（shuffle）轮询分区（Round-Robin）重缩放分区（rescale）广播（broadcast）全局分区（global）自定义分区（Custom） 常见的物理分区策略有随机分配（Random）、轮询分配（Round-Robin）、重缩放（Rescale）和广播（Broadcast），下边我们分别来做了解。 随机分区（shuffle） 最简单的重分区方式就是直接“洗牌”。通过调用 DataStream 的.shuffle()方法，将数据随机地分配到下游算子的并行任务中去。 publ
学习flink-1.14 自定义分区
weixin_41247759的博客
04-23 2129
flink-1.14自定义分区前言
Flink学习6-自定义分区器介绍
qq_40342691的博客
11-17 1777
自定义分区器介绍
Flink DataStream 八大分区策略与自定义分区器
王佩的CSDN博客
09-08 9756
分区策略决定了一条数据如何发送给下游。Flink中默认提供了八大分区策略(也叫分区器)。 本文基于Flink 1.9.0总结Flink DataStream中的八大分区策略以及手动实现一个自定义分区器。 八大分区策略继承关系图 ChannelSelector: 接口，决定将记录写入哪个Channel。有3个方法: void setup(int numberOfChannels): 初始化输...
Flink DataStream API：流批一体处理探索
"基于Flink DataStream API的流批一体处理" 在大数据处理领域，Apache Flink是一个强大的开源流处理框架，其核心特性之一是能够处理流数据和批数据的统一。本文将深入探讨如何利用Flink的DataStream API实现流批...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

卡林神不是猫

如果您觉得有帮助可以鼓励小卡哦

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值