Flink DataSet partitionByRange sortPartition 用法实例

最新推荐文章于 2022-12-04 07:00:00 发布

二十六画生的博客

最新推荐文章于 2022-12-04 07:00:00 发布

阅读量1.6k

点赞数

分类专栏： Flink 文章标签： partitionByRa sortPartition 实例 DataSet Flink

本文链接：https://blog.csdn.net/u010002184/article/details/107122705

版权

Flink 专栏收录该内容

68 篇文章 8 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文基于Flink 1.9.2和Java 1.8，详细介绍了DataSet API中`partitionByRange`和`sortPartition`的使用方法，并通过实例展示了如何在Flink作业中实现数据分区和排序。

摘要由CSDN通过智能技术生成

package DataSetPartitionTest1;

import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.common.operators.Order;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.tuple.Tuple2;

/**
 * @Author you guess
 * @Date 2020/7/4 11:58
 * @Version 1.0
 * @Desc
 */
public class DataSetPartitionTest1 {

    public static void main(String[] args) throws Exception {
        ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();

        DataSet<Tuple2<Long, String>> source2 = env.fromElements(
                Tuple2.of(2L, "xiaoli"),
                Tuple2.of(1L, "shinelon"),

了解本专栏