# Flink适配（S3）实现保存点上传

已于 2023-12-25 19:02:23 修改
阅读量1.3k 收藏 2
点赞数
文章标签： flink 大数据
于 2023-12-25 18:59:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_18379607/article/details/135206691
版权

Flink适配S3实现保存点上传

Amazon Simple Storage Service (Amazon S3) 提供用于多种场景的云对象存储。S3 可与 Flink 一起使用以读取、写入数据，并可与 流的 State backends 相结合使用。

​ Flink 提供两种文件系统插件用来与 S3 交互：flink-s3-fs-presto 和 flink-s3-fs-hadoop，Flink官方建议checkpoint的存储使用flink-s3-fs-presto进行实现，但是当认证方式为STS方式时，只能用flink-s3-fs-hadoop插件进行实现

​ 可参考Flink官方文档：https://nightlies.apache.org/flink/flink-docs-release-1.16/zh/docs/deployment/filesystems/s3/

​ 参考代码:Flink源码中的 flink-filesystems模块、插件源码

一、单机版Flink配置，在Flink web UI进行操作

1、配置flink-s3-fs-presto插件

# 进入到flink的根目录下后，在plugins下创建文件夹，并将opt下的插件复制到该文件夹下
mkdir ./plugins/s3-fs-presto
cp ./opt/flink-s3-fs-presto-1.16.0.jar ./plugins/s3-fs-presto/

2、配置flink-conf.yaml配置文件

在配置文件的# state.backend: hashmap下插入如下配置

state.backend: filesystem
fs.allowed-fallback-filesystems: s3
state.checkpoints.dir: s3://test0001/checkpoints # "s3://<your-bucket>/<endpoint>" 
state.savepoints.dir: s3://test0001/savepoints
state.backend.incremental: true
s3.access-key: ffjdgkjdslk
s3.secret-key: lzsEitkc4YT0MAWgZq1j6g
s3.ssl.enabled: true
s3.path.style.access: true
s3.endpoint: https://myoss.store:10000

3、重启Flink

./bin/stop-cluster.sh
./bin/start-cluster.sh

4、编写Flink jar任务开启checkpoint

/**
 * @Author wangkeshuai
 * @Date 2023/4/7 10:37
 * @Description 使用Flink进行无界流处理
 */
public class StreamWordCount {

    public static void main(String[] args) throws Exception{
        //1. 创建流式执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        //2. 使用socket方式读取文本流，用 nc -lk 7777进行输入
        DataStreamSource<String> lineDSS = env.socketTextStream("localhost", 7777);
        //3. 转换数据格式
        SingleOutputStreamOperator<Tuple2<String, Long>> wordAndOne = lineDSS.flatMap((String line, Collector<String> words) -> {
                    Arrays.stream(line.split(" ")).forEach(words::collect);
                })
                .returns(Types.STRING)
                .map(word -> Tuple2.of(word, 1L))
                .returns(Types.TUPLE(Types.STRING, Types.LONG));
       //4. 开启checkpoint，并20秒存储一次
        env.enableCheckpointing(20000);
       //5. 分组
        KeyedStream<Tuple2<String, Long>, String> wordAndOneKS = wordAndOne.keyBy(t -> t.f0);
        //6. 求和
        SingleOutputStreamOperator<Tuple2<String, Long>> result = wordAndOneKS.sum(1);
        //7. 打印
        result.print();
        //8. 执行
        env.execute();
    }

}

5、打包，Flink提交作业，查看作业的checkpoint信息

在这里插入图片描述

6、在Flink的bin目录下执行保存savepoint命令

wangkeshuai@wangkeshuaideMacBook-Air bin % ./flink savepoint efe270f12e0fa756ed9711b64b97c4ac
Triggering savepoint for job efe270f12e0fa756ed9711b64b97c4ac.
Waiting for response...
Savepoint completed. Path: s3://test0001/savepoints/savepoint-efe270-c62ef333961f
You can resume your program from this savepoint with the run command.

7、调用接口查询OSS桶中的存储对象

S3ObjectSummary{bucketName='test0001', key='checkpoints/50cd5e82bce1167bffa76a932a737a81/chk-1232/_metadata', eTag='1d93edcc2bfae7ea401de3224ab5ea5d', size=3876, lastModified=Thu May 11 14:28:15 CST 2023, storageClass='STANDARD', owner=S3Owner [name=test-flink,id=test-flink]}

S3ObjectSummary{bucketName='test0001', key='savepoints/savepoint-efe270-67bc83ccd4fd/_metadata', eTag='281c94e3d96c3e782690f4ebe0a9a923', size=2686, lastModified=Wed May 10 17:05:58 CST 2023, storageClass='STANDARD', owner=S3Owner [name=test-flink,id=test-flink]}

S3ObjectSummary{bucketName='test0001', key='savepoints/savepoint-efe270-c62ef333961f/_metadata', eTag='68c921824c52456bbda0c56732a60be4', size=2686, lastModified=Wed May 10 17:06:53 CST 2023, storageClass='STANDARD', owner=S3Owner [name=test-flink,id=test-flink]}

8、在Flink Web UI可指定jar并配置savepoint在OSS中的地址进行作业恢复

在这里插入图片描述

二、在StreamPark的K8S模式下进行配置（flink-s3-fs-presto插件）

1、配置插件并重新构建Flink基础镜像

  1. DockerFile如下
FROM apache/flink:1.14.3-scala_2.12
RUN mkdir -p $FLINK_HOME/usrlib

RUN chown flink:flink $FLINK_HOME/lib/*.jar

COPY flink-s3-fs-presto-1.14.3.jar $FLINK_HOME/plugins/s3-fs-presto/flink-s3-fs-presto-1.14.3.jar

RUN chown -R flink:flink $FLINK_HOME/plugins/
  1. 通过docker build 进行构建镜像，然后将其推送到镜像仓库
docker build -t lvlin241/wks-flink-xos:v1
docker push lvlin241/wks-flink-xos:v1

2、savepoint配置作业，上传至OSS及恢复作业

  1. sp创建flink作业时，flink base image 输入第1步的镜像名称 ，由于flink base image输入框页面上已经隐藏，可以创建作业后在数据库中进行修改，Flink SQL示例填写如下：
drop table if exists StreamSourceTable;
drop table if exists StreamSinkTable;
CREATE TABLE StreamSourceTable (
  content STRING
) WITH (
  'connector' = 'datagen'
);
CREATE TABLE StreamSinkTable (
  orgin STRING
) WITH (
  'connector' = 'print'
);
INSERT INTO StreamSinkTable SELECT content FROM StreamSourceTable;
  1. 在动态参数中输入连接OSS所需参数：
-Dstate.backend=filesystem
-Dfs.allowed-fallback-filesystems=s3
-Dstate.checkpoints.dir=s3://test0001/checkpoints
-Dstate.savepoints.dir=s3://test0001/savepoints
-Dstate.backend.incremental=true
-Ds3.access-key=gnX50XbxqwFIEYqwTPAW
-Ds3.secret-key=lzsEitk914WzhumYu7G16iM0Hc4YT0MAWgZq1j6g
-Ds3.ssl.enabled=true
-Ds3.path.style.access=true
-Ds3.endpoint=https://nmtcoss.ctyun.store:10003
  1. 填写其他信息后提交发布并运行作业，取消任务时有以下选项，可以不输入自定义路径，系统会自动生成路径并上传到OSS中

在这里插入图片描述

  1. 取消时状态会变为savepoint

在这里插入图片描述

  1. 查看作业详情可以看到savepoint在OSS中的存储位置

在这里插入图片描述

  1. 再次启动任务时可以对savepoint进行选择，apply后会对作业进行恢复

在这里插入图片描述

3、checkpoint配置作业，上传至OSS及恢复作业

  1. 通过Flink SQL的方式开启checkpoint
drop table if exists StreamSourceTable;
drop table if exists StreamSinkTable;
CREATE TABLE StreamSourceTable (
  content STRING
) WITH (
  'connector' = 'datagen'
);
CREATE TABLE StreamSinkTable (
  orgin STRING
) WITH (
  'connector' = 'print'
);
SET execution.checkpointing.interval = 10000;
INSERT INTO StreamSinkTable SELECT content FROM StreamSourceTable;
  1. 在动态参数中输入连接OSS所需参数：
-Dstate.backend=filesystem
-Dfs.allowed-fallback-filesystems=s3
-Dstate.checkpoints.dir=s3://test0001/checkpoints
-Dstate.savepoints.dir=s3://test0001/savepoints
-Dstate.backend.incremental=true
-Ds3.access-key=gnX50XbxqwFIEYqwTPAW
-Ds3.secret-key=lzsEitk914WzhumYu7G16iM0Hc4YT0MAWgZq1j6g
-Ds3.ssl.enabled=true
-Ds3.path.style.access=true
-Ds3.endpoint=https://nmtcoss.ctyun.store:10003
  1. 查看作业详情中的checkpoint信息

在这里插入图片描述

  1. 通过接口调用查看OSS中的存储信息
S3ObjectSummary{bucketName='test0001', key='checkpoints/50cd5e82bce1167bffa76a932a737a81/chk-2048/_metadata', eTag='9879cacb07bc17533bf3db32ac9eb35d', size=3876, lastModified=Thu May 11 19:03:40 CST 2023, storageClass='STANDARD', owner=S3Owner [name=test-flink,id=test-flink]}
S3ObjectSummary{bucketName='test0001', key='eflink/zkx-1/mysql-connector-java-5.1.46 - 副本 (14).jar', eTag='83ff44cdb987f4acaf59c09bd0d560d4', size=1004838, lastModified=Thu Apr 13 16:13:38 CST 2023, storageClass='STANDARD', owner=S3Owner [name=,id=test-flink]}
S3ObjectSummary{bucketName='test0001', key='eflink/zkx-1/mysql-connector-java-5.1.46 - 副本 (19).jar', eTag='83ff44cdb987f4acaf59c09bd0d560d4', size=1004838, lastModified=Thu Apr 13 15:39:37 CST 2023, storageClass='STANDARD', owner=S3Owner [name=,id=test-flink]}
S3ObjectSummary{bucketName='test0001', key='eflink/zkx-1/mysql-connector-java-5.1.46 - 副本 (2).jar', eTag='83ff44cdb987f4acaf59c09bd0d560d4', size=1004838, lastModified=Wed Apr 12 14:36:52 CST 2023, storageClass='STANDARD', owner=S3Owner [name=,id=test-flink]}
S3ObjectSummary{bucketName='test0001', key='eflink/zkx-1/mysql-connector-java-5.1.46 - 副本 (20).jar', eTag='83ff44cdb987f4acaf59c09bd0d560d4', size=1004838, lastModified=Thu Apr 13 15:38:46 CST 2023, storageClass='STANDARD', owner=S3Owner [name=,id=test-flink]}
S3ObjectSummary{bucketName='test0001', key='eflink/zkx-1/mysql-connector-java-5.1.46 - 副本 (3).jar', eTag='83ff44cdb987f4acaf59c09bd0d560d4', size=1004838, lastModified=Wed Apr 12 14:36:57 CST 2023, storageClass='STANDARD', owner=S3Owner [name=,id=test-flink]}
S3ObjectSummary{bucketName='test0001', key='eflink/zkx-1/mysql-connector-java-5.1.46 - 副本 (4).jar', eTag='83ff44cdb987f4acaf59c09bd0d560d4', size=1004838, lastModified=Wed Apr 12 14:37:04 CST 2023, storageClass='STANDARD', owner=S3Owner [name=,id=test-flink]}
S3ObjectSummary{bucketName='test0001', key='eflink/zkx-1/mysql-connector-java-5.1.46 - 副本 (5).jar', eTag='83ff44cdb987f4acaf59c09bd0d560d4', size=1004838, lastModified=Wed Apr 12 14:37:09 CST 2023, storageClass='STANDARD', owner=S3Owner [name=,id=test-flink]}
S3ObjectSummary{bucketName='test0001', key='eflink/zkx-1/mysql-connector-java-5.1.46 - 副本 (8).jar', eTag='83ff44cdb987f4acaf59c09bd0d560d4', size=1004838, lastModified=Thu Apr 13 16:43:47 CST 2023, storageClass='STANDARD', owner=S3Owner [name=,id=test-flink]}
S3ObjectSummary{bucketName='test0001', key='eflink/zkx-1/mysql-connector-java-5.1.46 - 副本.jar', eTag='83ff44cdb987f4acaf59c09bd0d560d4', size=1004838, lastModified=Wed Apr 12 14:36:33 CST 2023, storageClass='STANDARD', owner=S3Owner [name=,id=test-flink]}
S3ObjectSummary{bucketName='test0001', key='eflink/zkx-1/mysql-connector-java-5.1.46.jar', eTag='83ff44cdb987f4acaf59c09bd0d560d4', size=1004838, lastModified=Thu Apr 13 16:15:29 CST 2023, storageClass='STANDARD', owner=S3Owner [name=,id=test-flink]}
S3ObjectSummary{bucketName='test0001', key='hello', eTag='fc3ff98e8c6a0d3087d515c0473f8677', size=12, lastModified=Tue Apr 04 13:54:20 CST 2023, storageClass='STANDARD', owner=S3Owner [name=,id=test-flink]}
S3ObjectSummary{bucketName='test0001', key='hello world huch!', eTag='1fb53c2ac4f48714170c518cf3c2f793', size=50, lastModified=Tue Apr 11 15:02:14 CST 2023, storageClass='STANDARD', owner=S3Owner [name=,id=test-flink]}
S3ObjectSummary{bucketName='test0001', key='hello world!', eTag='1fb53c2ac4f48714170c518cf3c2f793', size=50, lastModified=Tue Apr 11 15:00:15 CST 2023, storageClass='STANDARD', owner=S3Owner [name=,id=test-flink]}
S3ObjectSummary{bucketName='test0001', key='mysql-connector-java-5.1.46 - 副本 (2).jar', eTag='83ff44cdb987f4acaf59c09bd0d560d4', size=1004838, lastModified=Tue Apr 11 09:44:06 CST 2023, storageClass='STANDARD', owner=S3Owner [name=,id=test-flink]}
S3ObjectSummary{bucketName='test0001', key='mysql-connector-java-5.1.46 - 副本 (3).jar', eTag='83ff44cdb987f4acaf59c09bd0d560d4', size=1004838, lastModified=Tue Apr 11 09:44:12 CST 2023, storageClass='STANDARD', owner=S3Owner [name=,id=test-flink]}
S3ObjectSummary{bucketName='test0001', key='mysql-connector-java-5.1.46 - 副本 (4).jar', eTag='83ff44cdb987f4acaf59c09bd0d560d4', size=1004838, lastModified=Tue Apr 11 09:44:18 CST 2023, storageClass='STANDARD', owner=S3Owner [name=,id=test-flink]}
S3ObjectSummary{bucketName='test0001', key='mysql-connector-java-5.1.46 - 副本.jar', eTag='83ff44cdb987f4acaf59c09bd0d560d4', size=1004838, lastModified=Tue Apr 11 09:44:01 CST 2023, storageClass='STANDARD', owner=S3Owner [name=,id=test-flink]}
S3ObjectSummary{bucketName='test0001', key='savepoints/savepoint-b9d51d-29d670f70c04/_metadata', eTag='fba87a310f733bb1858484000e14191d', size=82, lastModified=Mon May 15 18:29:11 CST 2023, storageClass='STANDARD', owner=S3Owner [name=test-flink,id=test-flink]}
S3ObjectSummary{bucketName='test0001', key='savepoints/savepoint-cb694d-fa713bcea08d/_metadata', eTag='9d05a4a12945bde7889b3a2faa2b8532', size=82, lastModified=Fri May 12 16:58:55 CST 2023, storageClass='STANDARD', owner=S3Owner [name=test-flink,id=test-flink]}
S3ObjectSummary{bucketName='test0001', key='savepoints/savepoint-efe270-67bc83ccd4fd/_metadata', eTag='281c94e3d96c3e782690f4ebe0a9a923', size=2686, lastModified=Wed May 10 17:05:58 CST 2023, storageClass='STANDARD', owner=S3Owner [name=test-flink,id=test-flink]}
S3ObjectSummary{bucketName='test0001', key='savepoints/savepoint-efe270-c62ef333961f/_metadata', eTag='68c921824c52456bbda0c56732a60be4', size=2686, lastModified=Wed May 10 17:06:53 CST 2023, storageClass='STANDARD', owner=S3Owner [name=test-flink,id=test-flink]}
S3ObjectSummary{bucketName='test0001', key='savepoints/savepoint-fe2c3e-3dc2d9fca7fa/_metadata', eTag='8c495d3fcb46318d05d2aa1f35fca092', size=82, lastModified=Fri May 12 16:25:24 CST 2023, storageClass='STANDARD', owner=S3Owner [name=test-flink,id=test-flink]}
S3ObjectSummary{bucketName='test0001', key='zkx-file-1.txt', eTag='8ee0a895435e8468f3fa4b15333b0ad5', size=21, lastModified=Tue Apr 11 15:33:44 CST 2023, storageClass='STANDARD', owner=S3Owner [name=,id=test-flink]}
数量：24

三、使用STS认证方式在StreamPark的K8S模式下进行配置（flink-s3-fs-hadoop插件）

使用STS方式时，操作步骤同第二部分，不同如下：

1、构建镜像时plugins下的jar包改为 flink-s3-fs-hadoop-1.14.3.jar

2、动态参数改为（注意STS方式的AK/SK/TOKEN需要从OSS接口获取，有效期最长12h）：

-Dstate.backend=filesystem
-Dfs.allowed-fallback-filesystems=s3
-Dstate.checkpoints.dir=s3://test0001/checkpoints
-Dstate.savepoints.dir=s3://test0001/savepoints
-Dstate.backend.incremental=true
-Dfs.s3a.access.key=vFHeUzrhFGna8X78hMl
-Dfs.s3a.secret.key=1PXKFE8TQJ4JS60AAQAMC9YAHSGPVWR0WLCFFE5
-Dfs.s3a.session.token=lMFucXqgPxpjWLWh0hg9eh5nOB3u9MaD6d6cQLsuk1yzUBdnTim7m+thYoUixuASwcLq4IPpEmolW3YgAVzbYPbADyDtaLPaRSEF2gOQm1AV56+wVr+b+kjvuiZmcYziw9NJoZjMvO0CNUYmg46y32cYOIp4JsFkKLPL36gTHdFs4gL0d1oixlCRidQz/KaJQaxPC0XQXaD8CBX3w2XOLGBbikRMEcwhbKCEsHR1M9PP9s5Qkchn7VxYj/bjdzxf0ZWfr9E3O4yvmeL1jz5KpkDIYbIn15U4uXJH6MTVpKorHRgJfNd2eA47g00zfVAcNLQNLpCYXrg7Z/KZD5fUn1UO/u7z//Mrnv/z6vZ5JrCxOazVml6W8Rwi4YFCy7AahzVb2HakFUd8slNAe0NsGvfKtvCXodhfd6St4QXIUfOAZn7t+rw5FhNYpDA8wj5F2qRbbmURvGGFr8nbdiBnnZXUjVLd4qRDBEZmBQPdfWZiuDwVb2fk2Do/yXQv7agc
-Dfs.s3a.ssl.enabled=true
-Dfs.s3a.path.style.access=true
-Dfs.s3a.endpoint=https://nmtcoss.ctyun.store:10003
-Dfs.s3a.aws.credentials.provider=org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider

3、checkpoint上传后，在OSS中存储方式与presto插件不同，hadoop方式多了shared和taskowned目录，且任务取消时无法自动删除

问题：

1、STS认证方式Flink动态加载配置文件问题

2、STS认证方式的AK/SK/TOKEN过期问题

3、STS认证方式的checkpoint取消后，shared和taskowned目录没有删除

老哥哥-老刘
关注
Flink 读写 Ceph S3入门学习总结
主要分享大数据相关的知识，如Spark、Hudi
10-01 1737
Flink 读写 Ceph S3入门学习总结
Flink上传文件到Oss
melanieyu573的博客
01-14 628
Flink输出到Oss，Flink写Oss
FLink-CDC部署（S3:Flink部署）
wengad的博客
03-26 681
在普通用户下(这里用datatech,HOME=/home/datatech)解压(直接在$HOME下解压)，解压后生成flink-1.18.1 目录，做一个软链接，方便后续换版本，同时也可以少输入一些内容，根据习惯，也可以不做。直接到https://flink.apache.org去下载编译好的tar包即可，这里用的是1.8.1的版本。包名 flink-1.18.1-bin-scala_2.12.tgz。可以修改下JobManager和TaskManager的内存。日志在flink/log下。
flink使用s3协议作为checkpoint配置
qq_18379607的博客
12-20 824
【代码】flink使用s3协议作为checkpoint配置。
Flink社区专刊S3-实时即未来.pdf
04-10
Flink社区专刊S3-实时即未来 最全最新版flink专刊 讲述了flink1.9的变革，内容详实，大数据必备！
flink读取不到文件_无法读取flink中前缀为的s3文件
weixin_35851482的博客
01-17 1288
"org.apache.flink" %% "flink-scala" % "1.10.0" % "provided""org.apache.flink" % "flink-s3-fs-hadoop" % "1.10.0""org.apache.flink" %% "flink-hadoop-compatibility" % "1.10.0""org.apache.hadoop" % "hadoo...
基于flink&hudi批流一体技术
最新发布
weixin_44687655的博客
04-21 1322
Hudi是Hadoop Updates and Incrementals的简写，它是由Uber开发并开源的Data Lakes解决方案。Hudi 用于管理的数据库层上构建具有增量数据管道的流式数据湖，同时针对湖引擎和常规批处理进行了优化。简言之，Hudi是一种针对分析型业务的、扫描优化的数据存储抽象，它能够使DFS数据集在分钟级的时延内支持变更，也支持下游系统对这个数据集的增量处理。
flink流处理
weixin_43705952的博客
12-07 1998
<?xml version="1.0" encoding="UTF-8"?> -<project xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://maven.apache.org/POM/4.0.0"&gt
数据湖YYDS！ Flink+IceBerg实时数据湖实践
微信搜：import_bigdata，大数据领域硬核原创作者
10-12 1471
点击上方蓝色字体，选择“设为星标”回复”面试“获取更多惊喜数据湖的前世今生互联网技术发展的当下，数据是各大公司最宝贵的资源之一已经是不争的事实。收据的收集、存储和分析已经成为科技公司最重要...
Flink v1.11 - 官网 - 部署与运维
MiaoSO的博客
09-08 2542
Flink v1.11 - 官网 - 部署与运维 Flink v1.11 - 官网 - 部署与运维 一、集群与部署 1.1 概览 1.1.1 部署方式 1.1.2 部署目标 1.1.3 Application Mode 1.2 Local Cluster - 本地集群 1.3 Flink Downloads 1.4 Hadoop Integration - Hadoop 集成 1.5 Standalone Cluster - 独立集群 1.6 YARN 1.6.1 Quickstart 1.6
Apache Flink中的连接器：Connectors
# 1. 理解Apache Flink连接器 ...连接器负责将Flink流式作业与外部系统（如文件系统、消息队列、数据库等）连接起来，实现数据的输入和输出。 ## 1.2 连接器在流处理中的作用和重要性 连接器在流处理中承
【Flink 基础篇】Flink 架构（六）：保存点 Savepoint
书山有路，学海无涯。记录成长，追逐梦想
01-28 1683
Flink 最具价值且独具一格的功能之一是保存点。原则上，保存点的生成算法和检查点完全一样，因此可以把保存点看做包含一些额外元数据的检查点。保存点的生成不是由 Flink 自动完成，而是需要由用户（或外部调度器）显式触发。同时，Flink 也不会自动清理保存点。后续我们将介绍如何生成和删除保存点。
Flink 如何保存状态数据
热门推荐
yuchuanchen的专栏
11-06 1万+
Flink 的一个重要特性就是有状态计算(stateful processing)。Flink 提供了简单易用的 API 来存储和获取状态。但是，我们还是要理解 API 背后的原理，才能更好的使用。本文分为 3 个部分： Flink支持的三种 State Backend state 文件格式 state 持久化及故障恢复 我们首先看下 state 究竟存储在哪里。 State 存储方式 Fli...
flink-s3-fs-hadoop: Could not resolve dependencies for project org.apache.flink:flink-s3-fs-hadoop
记录日常开发过程中遇到的一些问题
09-30 710
在pom.xml文件中添加： <repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cloudera-repos</url> </repository> </repositories>
flink1.14上传jar包源码
LizhiQiang
12-27 844
水一篇 flink 1.14 上传文件的源码流程 为了方便查找，用 ⭐️⭐️⭐️ 标注了。 上传文件核心源码就是 io 流的读写。 1.10 和 1.14 大致相同，只有细微细节不同。 从网上借个图。 // YarnClusterDescriptor 类里面，有启动 startAppMaster 方法。 private ApplicationReport startAppMaster( Configuration configuration, String appli
Flink本地IDEA运行时如何加载plugins(以flink-s3-fs-hadoop为例)
a531341404的博客
06-13 1103
Flink本地IDEA运行时如何加载plugins(以flink-s3-fs-hadoop为例)
【flink】flink整合minio
weixin_50573352的博客
09-09 1013
【代码】【flink】flink整合minio。
Flink + Iceberg +对象存储
qq_36567420的博客
09-06 909
Flink + Iceberg +对象存储
必看！S3File Sink Connector 使用文档
weixin_54625990的博客
09-21 238
S3File 是一个用于管理 Amazon S3（Simple Storage Service）的 Python 模块。当前，Apache SeaTunnel 已经支持 S3File Sink Connector，为了更好地使用这个 Connector，有必要看一下这篇使用文档指南。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值