Flink web ui 自定义传参

前言

目前flink 开发使用的是DatastreamApi,由于业务需要设置动态参数。
这个不常用,再次记录下,便于需要时查找。

1. 编码开发

动态设置 收参代码如下:

 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        // 获取传入的参数
        ParameterTool parameterTool = ParameterTool.fromArgs(args);
        // 注册给环境变量
        env.getConfig().setGlobalJobParameters(parameterTool);
        // 获取注册的配置
        ExecutionConfig.GlobalJobParameters parameters = env.getConfig().getGlobalJobParameters();
        Map<String, String> map = parameters.toMap();
        String markType = map.get("markType");

        // 设置任务失败重启 允许任务失败最大次数 3次
        env.setRestartStrategy(RestartStrategies.failureRateRestart(3,
                // 任务失败的时间启动的间隔
                Time.of(2, TimeUnit.SECONDS),
                // 允许任务延迟时间 3s
                Time.of(3, TimeUnit.SECONDS))
        );

2.在web ui 上设置参数

参数是 --参数名 值 (中间空格隔开)
在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
Flink 中,可以将 MySQL 自定义为检查点存储。以下是实现方法: 1. 首先,需要将 Flink 依赖库中的 flink-connector-jdbc 和 mysql-connector-java 添加到项目中。 2. 接着,创建一个实现 CheckpointStorage 接口的 MySQLCheckpointStorage 类,用于将检查点状态存储到 MySQL 数据库中。具体实现可以参考下面的代码示例: ``` public class MySQLCheckpointStorage implements CheckpointStorage { private final String jdbcUrl; private final String username; private final String password; public MySQLCheckpointStorage(String jdbcUrl, String username, String password) { this.jdbcUrl = jdbcUrl; this.username = username; this.password = password; } @Override public CheckpointStorageAccess createCheckpointStorage(JobID jobID) throws IOException { return new MySQLCheckpointStorageAccess(jdbcUrl, username, password, jobID); } @Override public boolean supportsHighlyAvailableStorage() { return false; } private static class MySQLCheckpointStorageAccess implements CheckpointStorageAccess { private final String jdbcUrl; private final String username; private final String password; private final JobID jobID; public MySQLCheckpointStorageAccess(String jdbcUrl, String username, String password, JobID jobID) { this.jdbcUrl = jdbcUrl; this.username = username; this.password = password; this.jobID = jobID; } @Override public CheckpointMetadata createCheckpointMetadata(long checkpointID, CheckpointOptions checkpointOptions) throws IOException { // TODO: 实现创建检查点元数据的逻辑 return null; } @Override public void addCheckpointMetadata(CheckpointMetadata checkpointMetadata) throws IOException { // TODO: 实现添加检查点元数据的逻辑 } @Override public CheckpointMetadata getCheckpointMetadata(long checkpointID) throws IOException { // TODO: 实现获取检查点元数据的逻辑 return null; } @Override public void shutdown(JobStatus jobStatus) throws IOException { // TODO: 实现关闭存储的逻辑 } } } ``` 3. 在 Flink 的配置文件中,设置 checkpoint.storage 属性为自定义的 MySQLCheckpointStorage 类。例如: ``` # Flink 的配置文件 checkpoint.storage: com.example.MySQLCheckpointStorage checkpoint.storage.jdbc.url: jdbc:mysql://localhost:3306/checkpoint checkpoint.storage.jdbc.username: root checkpoint.storage.jdbc.password: password ``` 其中,checkpoint.storage.jdbc.url、checkpoint.storage.jdbc.username 和 checkpoint.storage.jdbc.password 分别是 MySQL 数据库的连接 URL、用户名和密码。 4. 最后,在 Flink 应用程序中,调用 ExecutionEnvironment.getCheckpointConfig().enableExternalizedCheckpoints(CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION),启用外部化的检查点,并设置清理策略为取消任务时保留检查点。这样,Flink 在执行检查点时,就会将状态存储到 MySQL 数据库中。 以上就是在 Flink 中将 MySQL 自定义为检查点存储的实现方法。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值