SunTecTec

原创 Flink 任务启动常用命令

flink cancel -s/--withSavepoint <path> <job_id> ： 取消正在运行的job，并保存到相应的保存点。# -s,--fromSavepoint <savepointPath> : 基于savepoint保存下来的路径，进行恢复。flink modify <job_id> -p/--parallelism p : 修改job的并行度。flink list -r/--runing :列出正在运行的job。# -d,--detached : 在后台运行。

原创 Flink 提交作业的方式

参考：Flink运行方式及对比-腾讯云开发者社区-腾讯云

原创 Flink Checkpoints 与 Savepoints

从概念上讲，Flink 的savepoints与的不同之处类似于传统数据库系统中的备份与恢复日志之间的差异。Checkpoints 的主要目的是为意外失败的作业提供恢复机制。Checkpoint 的生命周期由 Flink 管理， 即 Flink 创建，管理和删除 checkpoint - 无需用户交互。由于 checkpoint 被经常触发，且被用于作业恢复，所以 Checkpoint 的实现有两个设计目标：i）轻量级创建和 ii）尽可能快地恢复。

原创 FlinkCDC-3.1.1 DataStream Source

scala版本根据下载flink.tgz安装包时指定的版本号。在poml文件中，导入的flink-table依赖把。

原创 MAVEN 重新配置参考

windows 系统环境变量 MAVEN_HOME 也可以改一下。

原创 Python 连接 Doris pymysql游标cursor.excute(sql) 并且添加事务和自动重连操作

为了避免出现连接超时中断错误。

原创 Jackson序列化时实现任意类型自定义转换

自定义Jackson2序列化反序列化，参考：Jackson序列化时实现任意类型自定义转换_jackson 自定义转换-CSDN博客

原创 Java 自定义jackson2序列化器遇到的问题

问题2：ClassNotFoundException: com.fasterxml.jackson.annotation.JsonMerge。缺少 jar 包：jackson-annotations。问题1：java: 错误: 不支持发行版本 5。修改idea java环境。

原创 IDEA设置自动删除无效import

原创 Flink Connector Format JSON 提供的几个Pojo

可以使用这两个Pojo示例：

原创 FlinkCDC pipeline模式 mysql-to-paimon.yaml

flinkcdc 需要引入：source端：sink端：

原创 FlinkCDC sink paimon 暂不支持exactly-once写入，而通过 幂等写

需要注意的是，依赖于幂等性sink来达到exactly-once语义的应用程序，必须保证在从检查点恢复以后，它将会覆盖之前已经写入的结果。同时，从Flink程序sink到的key-value存储中读取数据的应用，在Flink从检查点恢复的过程中，可能会看到不想看到的结果。例如，重复的向hashmap中插入同样的key-value对就是幂等操作，因为头一次插入操作之后所有的插入操作都不会改变这个hashmap，因为hashmap已经包含这个key-value对了。

原创 Paimon Trino Presto的关系 分布式查询引擎

Trino 是 Presto 同项目的不同版本，是原Presto核心开发和维护人员分离出来后开发和维护的分支，Trino基于Presto，目前 Trino 和 Presto 都仍在继续开发和维护。

原创 Paimon 首次启动 ClassNotFoundException: org.apache.paimon.flink.sink.FlinkStreamPartitioner

解决：部分分布式节点缺少 paimon-flink.jar，导致 taskexecutor 无法执行sink。

原创 Mysql 官方提供的公共测试数据集 Example Databases

数据集：下载 test_db:Linux 导入 mysql：

原创 Centos7 Mysql8.3.0 安装地址

MySQL :: Download MySQL Community Server (Archived Versions)

原创 Mysql安装 /lib64/libc.so.6: version `GLIBC_2.28‘ not found 缺少 glibc-2.28.tar.gz

原因：缺少 glibc-2.28.tar.gz，需要匹配到 glibc-2.28.tar.gz 对应版本的 gcc 版本、make 版本，否则即使是最新版本 gcc14 或者 gcc11 也会出现，缺失 complie 新版本的错误，因为旧版本不匹配如今的新版本gcc。导致频繁安装新版本但仍不匹配，编译时间长达几小时，查找问题也非常费劲。版本选择：glibc-2.28.tar.gz，gcc 7.3.1，make 4.2.1。gcc安装参考：将版本号改为7即可，会下载gcc7.3.1版本。

原创 Flink RPC通信超时 In that case, you can try to increase pekko.ask.timeout. AskTimeoutException

问题：In that case, you can try to increase pekko.ask.timeout.根据错误提示，可以尝试增加Flink的RPC超时时间。注意这里的配置名可能随着Flink版本的不同有所变动，具体配置项请查阅Flink 1.18版本的官方文档。解决：增加RPC超时时间。

原创 Linux bash: /usr/local/gcc/bin/gcc: 不是目录

解决：的输出是gcc is hashed (/usr/local/bin/gcc)，那说明路径被缓存了。bash: /usr/local/gcc/bin/gcc: 不是目录。

原创 Linux 查看 CPU核数 及 内存

查看linux 系统内存大小的信息，可以查看总内存，剩余内存，可使用内存等信息。# 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数。# 总核数 = 物理CPU个数 X 每颗物理CPU的核数。# 查看每个物理CPU中core的个数(即核数)# 查看逻辑CPU的个数。# 查看物理CPU个数。

原创 Mysql 8.3.0 安装

Mysql 8.3.0 安装地址：下载链接：

原创 Flink parallelism 必须＜= slot个数

parallelism不能多与slot个数，否则任务不断重启，报错无法获取必要的最小资源：

原创 Flink CDC 3.1.0 pipeline 多表合一、分库分表 Mysql写入Doris yaml

【代码】Flink CDC 3.1.0 pipeline 多表合一 yaml。

原创 Linux grep -r 遍历包括子文件内容和 jar包的类

匹配到二进制文件 lib/mysql-connector-java-8.0.27.jar。匹配到二进制文件 lib/flink-cdc-dist-3.1.0.jar。grep -r 遍历包括子文件内容和 jar包的类。

原创 FlinkCDC 3.1.0 与 Flink 1.18.0 安装及使用 Mysql To Doris 整库同步，使用 pipepline连接器

bin/flink-cdc.sh 会用到 linux的系统环境变量（vim /etc/profile配置），使用环境变量 FLINK_HOME。问题：flink lib 加入 mysql-connect-java.jar 否则flink任务会无法连接sink端，报错Exception。解决：flink lib 安装完成后，引入 mysql-connect-java.jar ，配置如下。4、查看 flinkcdc log：同步任务提交成功。

原创 Flink 1.19.1 standalone 集群模式部署及配置

config.yaml: jobmanager address 统一使用 dev001，bind-port 统一改成 0.0.0.0，taskmanager address 分别更改为dev所在host。flink 1.19起 conf/flink-conf.yaml 更改为新的 conf/config.yaml。standalone集群: dev001、dev002、dev003。

原创 Flink 窗口&触发器

参考：NoteWarehouse/05_BigData/09_Flink(1).md at main · FGL12321/NoteWarehouse · GitHubFlink系列 9. 介绍 Flink 窗口触发器、移除器和延迟数据等 | hnbianhttps://github.com/kinoxyz1/bigdata-learning-notes/blob/master/note/flink/Window%26%E6%97%B6%E9%97%B4%E8%AF%AD%E4%B9%89%E5%92%8C

原创 java 最新 jdk-11.0.23_windows-x64_bin.zip 下载地址

参考：git 用户分享开源仓库下载地址。

原创 Flink nc -l -p 监听端口测试

1、9999端口未占用。

原创 Doris 系统日志和审计日志

doris官方提供了plugins插件，可以自定义fe.audit.log中查询SELECT SQL写表，如按 "dynamic_partition.time_unit" = "DAY" 每日备份查询和慢查询audit记录写到表中。Doris 日志有系统日志和审计日志，审计日志记录了执行的SQL操作，位于 doris/fe/log/fe.audit.log 文件。

原创 Linux 创建 xsync

2、创建xync脚本。

原创 【Git】win本地 git bash：Connect reset by 20.205.243.166 port22报错问题解决

根据引导重新生产 id_rsa 和 id_rsa.pub，将 id_rsa.pub 重新放入 github -> settings -> ssh and gpg keys -> new ssh key 即可，git@github.com。连接成功，git clone git@github.com:账户名/.git 可以使用。3、重写 git clone 地址 url，全局添加 https 前缀，仍然无法连接。4、在 C:/Users/username/.ssh/ 下创建 config 文件。

原创 TPS、QPS、CPS、PV和UV

TPS和QPS概念比较接近，都会被用来评价系统的处理能力，最大区别主要是，T是表示实物处理量，一般是增、删、改这类操作；而Q则是查询，不涉及到数据变更。一般说的，系统的并发处理能力，即TPS。PV和UV则是用来统计站点的访问量。聊聊TPS、QPS、CPS概念和区别-腾讯云开发者社区-腾讯云。

原创 Flink 运行作业报错 IOException: Could not connect to BlobServer at address localhost/127.0.0.1:37062

解决：将 flink/conf/flink-conf.yaml 里的 bind ip 都改成 0.0.0.0。

原创 FlinkCDC 3.1.0 支持 Flink 1.18.0 版本选择

原因：初步判断是由于flinkcdc不同开发团队使用的flink-cdc-pipeline-connector-doris-3.1.0.jar包内是基于判断flink-1.17.0/conf/config.yaml的flink conf文件而导致，而实际上1.17版本的flink conf/下只有flink-conf.yaml配置文件，在参考原配置手动添加config.yaml文件后仍然无效。

原创 Mysql8.0.31开启mysqlbinlog

该参数用来控制binlog日志解析的时候，是否输出base64编码的内容。它的取值范围有：auto、decode-rows、never。log_bin_basename: binlog所在路径的文件开头前缀名。lob_bin_index: binlog文件的索引文件所在路径。log_bin: ON是OFF否已经开启binlog。2、若log_bin=OFF，则开启log_bin。1、查看mysqlbinlog是否已经开启。4、查看正在写入的binlog 文件名。3、Linux重启Mysql服务。

原创 maven 显式依赖包包含隐式依赖包，引起依赖包冲突

依赖冲突是指项目依赖的某一个jar包，有多个不同的版本，因而造成类包版本冲突。

原创 查看一个网站是否是用React搭建的

安装谷歌扩展应用打开要查看的网站：如果react-developer-tools图标高亮，就说明是React项目，如下图：

原创 Doris 2.1 元数据更新

【代码】Doris 2.1 元数据更新。

原创 Doris insert into 插入语句执行成功，且select查询成功，返回结果不报错，但查不到该插入数据

原因：由于有其他 insert commit 事务待提交且该任务处于锁的状态，导致不断在回滚，进而造成其他的insert into 语句也执行成功，但是select不到写入的数据。一是集群性能太差的缘故，二是写入访问过多，导致查询tablet文件部分丢失，却回滚事务异常，Doris FE webui Log WARN日志打印初步判定是此原因，情况出现很少。问题：Doris insert into 正常执行成功，select 查询也执行成功，但查不到该写入数据。