SunTecTec

原创 docker compose 启动指定的 service

流程概览在开始之前，我们先来了解一下整个流程，如下表所示：接下来，我们将逐步介绍每个步骤以及需要执行的操作。

原创 Linux grep -r 查找依赖包是否存在依赖类 Class

在 jar 包所在 lib 或者 lib/plugins 目录下执行，grep -r，

原创 IDEA 查看 MAVEN 依赖包的依赖图

原创 com.amazonaws.SdkClientException: Unable to load AWS credentials from environment variables (AWS_ACC

在 docker exec -it container-name /bin/bash 容器中或者 Linux 环境变量中，使用先执行添加临时环境变量。：Flink SQL Client - Paimon 创建 Minio S3 Storage Catalog，报错环境变量异常。

原创 Flink 1.20 SQL Client command issue，close by must typing ‘bin/sql-client.sh embedded shell‘ enforced

在编写 docker flink sql client from sql server to paimon minio S3 storage 的 flink sql 中，任务的 sink 端一直无法创建 paimon 以 minio S3 存储的 catalog，重复检查 sql s3 中 key、bucket、grant、export key environment value 多次报出相同错误 Forbiden 403，可抵达 minio 但被拒绝访问。

原创 MinIO WebUI 页面使用

上传文件到桶，选择Share。

原创 Could not find any factories that implement ‘org.apache.flink.table.delegation.ExecutorFactory‘

解决： 如果要在本地用IDE（比如IntelliJ IDEA或Eclipse）调试Table API&SQL程序，则还需要加入如下依赖 -问题：Flink 本地运行 Table Api & SQL 报错。

原创 美化IDEA注释：Idea 中快捷键 Ctrl + / 自动注释的缩进（避免添加注释自动到行首）以及 Ctrl + Alt + l 全局格式化代码的注释缩进

美化IDEA注释：Idea 中快捷键 Ctrl + / 自动注释的缩进（避免添加注释自动到行首）以及 Ctrl + Alt + l 全局格式化代码的注释缩进

原创 SQL Server To Paimon Demo by Flink standalone cluster mode

操作：启动 Flink standalone cluster 后，接着启动 Flink SQL Client，则通过 Flink SQL Client 提交 insert & select job 到该 8081 cluster。需求：使用 Flink CDC 测试 SQL Server 连接 Paimon。Flink SQL Client 执行案例 -

原创 SqlServerStreamingChangeEventSource - No maximum LSN recorded in the database； please ensure 异常处理

No maximum LSN recorded in the database 这个问题伴随在 Caused by: org.apache.flink.table.api.ValidationException: SqlServer database poc_db do not enable cdc. 之后。：Flink CDC 读取 SQL Server ，需要先准备好 SQL Server enable Database CDC & enable Table CDC。指定的文件组必须已存在。

原创 Flink bin/sql-client.sh Connection refused: localhost/127.0.0.1 .网关 Gate Connect Exception Deal 异常处理

Flink 1.20.1 在配置 config.yaml 中 jobmanager、taskmanager、rest 的 ip 地址后，依次启动 standalone session cluster & bin/sql-client 后，出现要么 Flink WebUI 端显示 & Flink SQL Client 连接Connection拒绝、Gate网管 Exception，或者要么出现 Flink SQL Client 运行正常 & Flink WebUI 8081 无法连接。

原创 org.apache.flink.runtime.JobException: Recovery is suppressed by NoRestartBackoffTimeStrategy

由于第一个 snapshot for checkpoint 就无法写入 file:/tmp/paimon，所以 docker flink insert into 流/批作业都无法执行。当使用 Paimon官方提供的 Flink SQL Client 提交测试时，无法执行 insert into paimon 持续报错 -Docker Container 无法直接使用 Paimon Connector 写到 Linux local file path。

原创 Docker 打上 Tag 和 Push 的意思

是两个关键操作，用于管理镜像的版本并上传到镜像仓库（如 Docker Hub、阿里云 ACR、Harbor 等）。：将本地打好 Tag 的镜像上传到远程 Docker 仓库（如 Docker Hub、私有仓库）。，可以在 Docker Hub（或其他仓库）查看该镜像，并在其他机器上通过。：为 Docker 镜像指定一个版本标签，方便后续识别和管理。这样，你就可以方便地管理和分发 Docker 镜像了！是私有仓库（如阿里云 ACR），需要先。：新的镜像名称（通常包含仓库地址）：本地已有的镜像名称或 ID。

原创 About why docker application mode taskmanager not down in time

Tips: docker flink application mode 当任务完成或者jobmanager cancel，则taskmanager会因为flink集群机制继续保留监听等待jobmanager发送任务命令，当超过大约6 mins，taskmanager便会自动exited退出。

原创 Dockerfile 编写根据需求阶段而出现

在 Flink 的 Docker 部署中，是否需要编写。：如需固化 JAR、安装依赖或定制配置，应自定义镜像。需要分发镜像到其他环境（如 CI/CD 流水线）。：如果仅挂载 JAR 文件，直接使用官方镜像即可。取决于你的具体需求。直接使用官方镜像，无需维护自定义镜像。（如安装额外依赖、调整配置）。希望镜像自包含，避免挂载文件。构建镜像，确保环境一致性。适合快速验证或简单任务。

原创 问题 ERROR: for jobmanager ‘ContainerConfig‘ 原因及解决

使用 docker-compose version 和 docker compose version 可以看到，此时系统同时有两个版本的docker compose，而v1版本已被废除。使用 docker compose v2 版本的形式，docker compose up -d 即可。

原创 Flink Docker Application Mode 命令解析 - 修改命令以启用 Web UI

Web UI 仅在 Job 运行期间短暂可用（任务结束后容器退出）。，如果看到 Flink Dashboard 表示成功。，即可看到 Flink Dashboard。：无持久化 Web UI，适合一次性任务。：提供 Web UI，适合长期运行的集群。，这样 Flink 会以常驻服务运行。，任务完成后容器会退出（尤其是加了。不适合生产环境，仅建议调试使用。检查防火墙/安全组是否放行。

原创 Flink Docker Application Mode 命令解析

JobManager 和 TaskManager 必须使用同一个网络（如果 JAR 有额外依赖（如配置文件、Lib 目录），需额外挂载到。TaskManager 需要访问 JobManager，因此。以下是 Flink 官方提供的 Docker 命令，用于在。这样， Flink Job 就会在 Docker 集群中以。下（Flink 默认加载该目录下的 JAR）。如果有问题，可以检查日志或调整挂载路径。由于你的 JAR 是单个文件，直接挂载到。下运行 Flink Job（已创建（若没有，运行。

原创 Linux 在个人家目录下添加环境变量 如FLINK_PROPERTIES=“jobmanager.rpc.address: jobmanager“

打开终端，编辑你的 shell 配置文件（通常是。

原创 一个初始 flink lab maven demo项目的 pom.xml 文件

【代码】一个初始 flink lab maven demo 项目的 pom.xml 文件。

原创 IDEA2023.3.4 将普通项目转Maven项目

原创 Idea 配置 Git

3、idea -> settings -> git 设置 git.exe 路径。2、win 打开 git bash ，配置邮箱和用户名。

原创 Docker 与 Docker-Compose 的区别

Docker像是"单兵作战"工具，适合管理单个容器像是"指挥官"，可以协调多个容器组成的应用系统两者通常结合使用 - 用 Docker 构建单个容器镜像，用 Docker-Compose 编排由这些镜像组成的完整应用。

原创 Docker 快速入门教程

1、创建Dockerfile。

原创 数据集市、数仓、数据湖：一文读懂术语

5️⃣ 数据网格：数据网格是一种数据架构模式，将数据视为一种产品，强调数据的去中心化管理和分布式所有权。在数据网格中，数据由不同的业务领域或团队辅助管理和维护，各个团队可以独立地开发、部署和管理自己的数据产品，同时通过标准化的接口和协议实现数据的共享和互操作。4️⃣ 数据管道：数据管道是一系列数据处理步骤，用于将数据从一个或多个数据源传输到一个或多个数据目标。3️⃣ 数据湖：数据湖是一个大型仓库，用于存储企业各种原始数据，包括结构化数据、半结构化数据和非结构化数据。数据术语大揭秘：数仓、数据湖、数据集市。

原创 区块链、Web3.0、元宇宙：一文读懂他们之间的区别与联系

Web3.0就是互联网的下一代版本，是互联网的第三阶段，也被称为“语义网络”或“智能网络”。咱们现在用的互联网，其实是Web2.0的版本。在这个版本里，用户可以主动地创建、共享和修改内容，参与社交媒体、博客、在线社区等。但是呢，Web2.0也有一个问题，就是数据都集中在一些中心化的平台上，比如Facebook、谷歌这些。这些平台掌握了大量的用户数据，不仅有可能泄露隐私，还可能滥用数据来谋取利益。而Web3.0呢，就是要解决这个问题。它希望打造一个更加去中心化、安全、隐私保护的互联网体验。

原创 FlinkCDC 3.2.0 新增优点 Pattern Replacement in routing rules

新增优点：Pattern Replacement in routing rulesflinkcdc 3.2.0版本相较于3.1.0版本，避免了多表多sink多次写 route 路由的麻烦，类似于统一前后缀的形式多表多sink官网：Route | Apache Flink CDC If you’d like to route source tables and rename them to sink tables with specific patterns, could be used to resem

原创 ResultSet resultSet = preparedStatement.executeQuery()；

【代码】ResultSet resultSet = preparedStatement.executeQuery()；

原创 FlinkCDC StartupOptions.initial op:r 出现 MysqlSource 自定义时间戳时区东八区格式化未顺利执行，mysql 时间返回null的问题

原因：自定义 debeziumProperties 中使用的自定义 utils 类 MySqlDateTimeConverter 中，convert 时间方法 默认 返回 return 为 null。问题：FlinkCDC StartupOptions.initial op:r 出现 MysqlSource 自定义时间格式化未顺利执行，mysql 时间返回null的问题。解决：默认 return 更改为。

原创 Flink Doirs Connector 常见问题：Doris目前不支持流读

问题：对于 Flink Doris DataStream，Flink 想要在 流式读取 Doirs / 实时读 Doris，目前读取完全表后 Flink 程序会结束运行。原因：Doris 目前无法像 Mysql 那样提供 binlog 日志，无法实时监控读 Doris。目前 Doris Source 是有界流，不支持 CDC 方式读取。

原创 Flink 任务启动常用命令

flink cancel -s/--withSavepoint <path> <job_id> ： 取消正在运行的job，并保存到相应的保存点。# -s,--fromSavepoint <savepointPath> : 基于savepoint保存下来的路径，进行恢复。flink modify <job_id> -p/--parallelism p : 修改job的并行度。flink list -r/--runing :列出正在运行的job。# -d,--detached : 在后台运行。

原创 Flink 提交作业的方式

参考：Flink运行方式及对比-腾讯云开发者社区-腾讯云

原创 Flink Checkpoints 与 Savepoints

从概念上讲，Flink 的savepoints与的不同之处类似于传统数据库系统中的备份与恢复日志之间的差异。Checkpoints 的主要目的是为意外失败的作业提供恢复机制。Checkpoint 的生命周期由 Flink 管理， 即 Flink 创建，管理和删除 checkpoint - 无需用户交互。由于 checkpoint 被经常触发，且被用于作业恢复，所以 Checkpoint 的实现有两个设计目标：i）轻量级创建和 ii）尽可能快地恢复。

原创 FlinkCDC-3.1.1 DataStream Source

scala版本根据下载flink.tgz安装包时指定的版本号。在poml文件中，导入的flink-table依赖把。

原创 MAVEN 重新配置参考

windows 系统环境变量 MAVEN_HOME 也可以改一下。

原创 Python 连接 Doris pymysql游标cursor.excute(sql) 并且添加事务和自动重连操作

为了避免出现连接超时中断错误。

原创 Jackson序列化时实现任意类型自定义转换

自定义Jackson2序列化反序列化，参考：Jackson序列化时实现任意类型自定义转换_jackson 自定义转换-CSDN博客

原创 Java 自定义jackson2序列化器遇到的问题

问题2：ClassNotFoundException: com.fasterxml.jackson.annotation.JsonMerge。缺少 jar 包：jackson-annotations。问题1：java: 错误: 不支持发行版本 5。修改idea java环境。

原创 IDEA设置自动删除无效import

原创 Flink Connector Format JSON 提供的几个Pojo

可以使用这两个Pojo示例：