SunTecTec

原创 maven 显式依赖包包含隐式依赖包，引起依赖包冲突

依赖冲突是指项目依赖的某一个jar包，有多个不同的版本，因而造成类包版本冲突。

原创 查看一个网站是否是用React搭建的

安装谷歌扩展应用打开要查看的网站：如果react-developer-tools图标高亮，就说明是React项目，如下图：

原创 Doris 2.1 元数据更新

【代码】Doris 2.1 元数据更新。

原创 Doris insert into 插入语句执行成功，且select查询成功，返回结果不报错，但查不到该插入数据

原因：由于有其他 insert commit 事务待提交且该任务处于锁的状态，导致不断在回滚，进而造成其他的insert into 语句也执行成功，但是select不到写入的数据。一是集群性能太差的缘故，二是写入访问过多，导致查询tablet文件部分丢失，却回滚事务异常，Doris FE webui Log WARN日志打印初步判定是此原因，情况出现很少。问题：Doris insert into 正常执行成功，select 查询也执行成功，但查不到该写入数据。

原创 DolphinScheduler 3.x 执行insert into SQL任务显示成功，但查不到数据

原因：若SQL首行有 “-- ” 开头注释，则是由于 DolphinScheduler 3.x 新版本相较于 2.x 老版本，并未将非查询SQL语句的首行 “-- 注释” 按照换行符分开解读识别，而是识别为一整局的SQL，导致该 insert into 插入语句，当做被注释掉的注释语句，实际上并未执行该 insert into 语句，而空任务会执行成功。问题：DolphinScheduler 3.x 执行insert into SQL任务成功，但写入数据查询不到。

原创 Linux flink run 自动化运行任务shell脚本

【代码】Flink run 自动化运行任务shell脚本。

原创 Doris 少数SQL在Datagrip无法执行，而在DorisUI或程序调用可以执行的问题

问题：Doris 少数SQL在Datagrip无法执行，而在DorisUI或程序调用可以执行。解决：Datagrip 执行SQL切分异常，设置默认执行语句方式，将分句改为整句执行。

原创 jdk8 华为云下载地址

Index of java-local/jdk

原创 Dinky FlinkSQL Doris读取写入

【代码】Dinky FlinkSQL Doris读取写入。

原创 Linux 虚拟机 同一局域网下，宿主机及其他物理机 互联，通过桥接模式实现

实现方式：虚拟机-网络连接-桥接模式。

原创 Dinky DorisCDC 整库同步到 Doris

参考：Doris + Flink + DolphinScheduler + Dinky 构建开源数据平台_dinky dolphinscheduler flink-CSDN博客

原创 Flink Paimon0.8 构建 ods层、dw层

Paimon做 ods层、dw层。

原创 Dinky webui使用技巧Tips

在寻找dinky是否缺失某些source、sink两端的依赖jar包，以及判断是否flinksql语法错误的debug过程中，由于dinky运行flinkcdc任务时间较长，可以在开发完flinksql后，2、再先查看任务预先是否能成功构建出完整的DAG图，1、先通过检查flinksql语法，通过后，这两步来缩短开发debug时间周期。

原创 Dinky MySQLCDC 整库同步到 Doris

Doris要预先建表，而MySQLCDC 整库到 MySQL 则会自动建表。

原创 Dinky MySQLCDC 整库同步到 MySQL jar包冲突问题解决

source使用 flink-sql-connector- 胖包，sink使用 jdbc mysql-connector-java 包。使用 flink-sql-connector- 胖包即可，去掉 flink-connector- 相关瘦包，解决胖瘦包冲突。

原创 整库同步 Catalog 和 Flink CDC

Flink CDC连接器的主要目的是从关系型数据库中的binlog（二进制日志）中捕获变更事件，并将这些事件作为数据流传递给Flink应用程序进行处理。Catalog是数据库管理系统（DBMS）中用于存储元数据信息的组件，它包含了数据库对象（如表、视图、函数等）的定义和描述。通常情况下，Flink CDC连接器并不直接操作Catalog数据，而是通过解析binlog来捕获对数据库对象的变更。然而，一些特定的CDC实现或特殊的配置可能会考虑到对Catalog数据的变更进行捕获和处理。

原创 DataSophon

致力于快速实现部署、管理、监控以及自动化运维大数据云原生平台，帮助您快速构建起稳定、高效、可弹性伸缩的大数据云原生平台。

原创 Apache Doris使用Stream Load方式insert into数据

参考：Apache Doris使用Stream Load方式insert数据_stream load doris-CSDN博客

原创 Linux crontab -e 定时执行python 并 自定义写日志路径

crontab -l 展示。

原创 DolphinScheduler 3.2.0新版本 SQL首行不能有 “-- 中文注释”

uat和测试环境的DolphinScheduler 3.2.0新版本，SQL首行开头不能有 “-- 中文注释”，新版DolphinScheduler会识别成整个SQL被注释，否则即使成功跑完也没有数据。

原创 python 文本打标签

【代码】python 文本打标签。

原创 Conda环境重命名操作

注意事项：在进行Conda环境重命名时，请确保您已经备份了重要的数据和文件，以防在操作过程中发生意外情况导致数据丢失。此外，如果您在使用Conda的环境中安装了某些包或软件，可能需要重新安装或更新它们以适应新的环境名称。在重命名环境之前，最好先了解您在该环境中安装的包和依赖项，并采取必要的措施来确保它们与新环境兼容。找到存储环境的文件夹。默认情况下，Conda环境存储在用户的主目录下的.conda文件夹中。如果新环境已成功创建，您应该能够在输出中看到新环境的名称。创建新的环境并克隆目标环境的内容。

原创 DolphinScheduler集群 任务一直运行，不成功也不失败

当DolphinScheduler的监控中心页面上的，Worker结点并非是bin/env/install_env.sh下定义的ip地址，则会导致Worker结点并非指定的机器结点，从而导致无法接受到任务执行中或者结果的任何状态。修改bin/env/install_env.sh下的 ips地址 和 worker结点的ip地址，最好直接使用ip地址的方式编辑，而不是通过/etc/hosts文件映射ip地址名，这便于发现问题。

原创 DolphinScheduler集群中某一台机器启动异常 many connection errors

DolphinScheduler启动故障的master结点日志。

原创 DolphinScheduler 启动时故障 Public Key Retrieval is not allowed

在使用 MySQL 8.0 时重启应用后提示 com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Public Key Retrieval is not allowed。最简单的解决方法是在连接后面添加 allowPublicKeyRetrieval=true。

原创 元数据管理平台

Atlas、DataHub元数据管理系统

原创 Datagrip 开关侧边栏快捷键

左边 Database Explorer 快捷键：alt + 1。右边 Files 快捷键：alt + 2。

原创 FlinkSQL1.18 的 format=raw 和 format=json

format=raw：flinksql中kafka临时表结构参数，不需要列出字段名对应埋点json的key名，而是将kafka消息直接当做k,v类型的string存储。format=json：flinksql中的kafka临时表结构参数，需要列出所有需要的字段名，对应埋点json中的key名。

原创 SQL解决 “跨年周”，如2021-01-01

【代码】SQL解决 “跨年周”，如2021-01-01。

原创 FlinkSQL 时间戳格式化时间

注意时间戳 10位 和 13位 的区别，一个是秒时间戳，一个是毫秒时间戳。

原创 D盘多了一个elevoc-dnn-kernel.log怎么也删不掉

这个是联想系统更新后的系统驱动程序生成的文件，原则上是没办法真正删除的如果真的不想看见那就右键文件，打开属性，勾上隐藏，点应用

原创 Doris 建表指定分区日期范围

【代码】Doris 建表创建指定分区。

原创 JetBrain 免卸载方式 更改安装路径

【代码】JetBrain 免卸载方式 更改安装路径。

原创 新版JetBrain NewUI页面调出工具栏

原创 DataGrip查询结果分多个标签页，并在代码编辑页面展示

原创 Python 企微机器人发送 MarkDown消息

【代码】Python 企微机器人发送 MarkDown消息。

原创 dense_rank()函数

家庭组活跃人次：使用到了 dense_rank()函数。

原创 Python 全局变量 configparser

读配置文件，而不是将配置写在代码里，将有助于在其他环境对任务调用时，避免使用的不是同一个$PYTHONPATH环境变量造成一些import导包问题，例如Dolphinscheduler调度import 自定义包时。这是因为 % 已经在 configparser 的低版本里有意义了，可以作为变量替换 %() 使用，所以会导致语法冲突。或者是选择使用 RawConfigParser ，而非使用 ConfigParser，也可解决。当你想要在Python中读取一个配置文件并将其配置设置为全局变量时，你可以使用。

原创 获取网页Cookie

原创 Python项目文件名全红色Git异常的解决办法

解决：将 ‘’version control” 的当前项目 vcs=git 设置为 vcs=none 即可。问题：git 连接异常，无法commit或push导致。