努力有什么不好-CSDN博客

原创 StarRocks集群的数据存储在CFS上，集群重启后服务卡在初始化起不来问题原因

博主的StarRocks生产集群部署在虚拟机中，三台虚拟机，FE、BE混合部署，随着业务使用增加，CPU和内存资源不够，所以停机扩容，但是在扩容完成重启集群后发现StarRocks集群FE、BE都写入不了CFS上的文件。StarRocks的FE、BE数据目录都是存储在CFS上。jstack检查JVM，一直卡在某个启动类中，原因是FE进程写入fe.pid文件失败。导致StarRocks无法写入CFS，服务一直处于初始化阶段。但是重启机器后，配置文件/etc/fstab中挂载参数却为。

2025-12-18 18:37:15 450

原创 StarRocks使用ProxySQL代理的连接巡检

查询结果：字段如下图，通过l_srv_host, l_srv_port定位到匹配上述代理IP和端口，通过cli_host, cli_port定位到MySQL客户端。如定位到异常SQL，比如某个连接一直发送SET autocommit=1死循环，先定位a.clientIp，找到代理的IP和端口。

2025-08-18 11:34:55 382

原创 StarRocks创建Oracle catalog后查询报错 [1064] [42000]: DECIMAL‘s precision should range from 1 to 38

StarRocks在3.2.0版本，增加了一个会话变量 large_decimal_underlying_type = “panic”|“double”|“decimal”，用以设置超出范围的 DECIMAL 类型数据的转换规则。可以通过以下SQL查询变量large_decimal_underlying_type的默认值，默认是panic直接报错，可以根据需要修改成所需的配置。可以设置有效范围为全局变量、会话变量、或者单个SQL。

2025-08-14 14:37:02 424

原创 DataX同步hive数据到starrocks

如果在目录datax/plugin/writer 中直接解压，解压后需要把starrockswriter.tar.gz删掉。下载地址https://github.com/StarRocks/DataX/releases。StarRocks官方提供了DataX的Writer插件。解压至目录datax/plugin/writer。

2025-06-09 17:08:42 480

原创 ProxySQL代理安装步骤及自定义服务端口

如果需要再修改proxySQL的服务端口，博主试过直接修改配置文件后重启proxy服务但是修改并未生效，通过执行下面SQL语句修改也未生效。最后的方法是找到proxysql.db文件，删掉这个文件且重新初始化proxySQL。如果，你的版本是GnuTLS 2.8.x ，主要的库文件为/usr/lib64/libgnutls.so.28。如果，你的版本是GnuTLS 3.x，是较新的版本，主要的库文件为/usr/lib64/libgnutls.so.30。修改proxysql.cnf文件配置项。

2025-05-16 11:56:33 581

原创 iceberg轨迹表生成

或者指定时间戳，获取指定时间范围的数据变化轨迹。能够捕捉数据的增、删、改。_change_type：更改的类型。它具有以下值之一：INSERT、DELETE、UPDATE_BEFORE 或 UPDATE_AFTER。identifier_columns：用于捕捉数据变化的标识列。可设置为主键，捕捉这条记录的增、删、改。_commit_snapshot_id：发生更改的快照 ID。_change_ordinal：更改顺序，从0开始。changelog_view：创建视图的名称。table：必输，表名。

2025-05-06 12:02:04 402

原创自定义AsyncTableFunction后，eval 方法参数类型总是报错

如果不是使用FlinkSQL开发，可以使用DataStream API 实现 Async I/O，实现RichAsyncFunction。自定义异步表函数AsyncTableFunction后，在Flink SQL中使用时，总是报错函数签名不匹配的。如果使用FlinkSQL开发，可以实现TableFunction，并创建线程池用于异步查询。尝试修改eval函数如下，强制输入的类型为string。修改成如下的代码，表示 eval 的参数可以是任意类型。还是报错，报错信息同上。报错，报错信息同上。

2025-03-26 17:17:50 473

原创 Flink集群的类加载机制导致某些配置或代码逻辑被覆盖的问题解决方案

博主在测试flink开发任务的时候发现，以下代码在本地测试的时候没有问题，但是上传到flink集群中跑的时候，数据发送不到指定的kafka主题sinkTopic，而是发送了其他的 topic。...

2025-03-20 16:22:58 716

原创 Flink1.17.1standalone集群部署中主节点日志连接taskmanager的拒绝连接解决方案（拒绝连接: localhost/127.0.0.1:36125）

Flink 使用 Akka 进行 JobManager 和 TaskManager 之间的通信。Akka 的通信地址需要正确配置为 JobManager 的实际 IP 或主机名。在集群部署时配置了rpc通信 jobmanager.rpc.address: jobManager IP，但是还是报错。[java.net.ConnectException: 拒绝连接: localhost/127.0.0.1:36125]需要增加 Akka 的通信地址配置。TaskManager的配置。

2025-03-18 15:30:38 614

原创 Flink1.17.1实现表函数后返回Row类型SQL自动处理为一个字段的解决办法，适用FlinkSQL开发

但是在FlinkSQL中使用的时候发现，SQL 中默认只显示为一个字段，这是因为 SQL 引擎在处理这类数据时，默认会将 ROW 类型的数据作为一个整体来处理，而不是将其拆分为单独的列。在Flink实时数据关联MySQL维表时，如果数据量太大，通常无法全量加载到flink中，因此博主自定义一个lookup表函数。2. SQL中再拆分。

2025-03-12 16:31:40 1118

原创 Flink1.17.1 upsert-kafka连接器好像不支持时间戳

博主在测试的时候发现，普通的kafka连接器使用时间戳TIMESTAMP或者TIMESTAMP_LIZ没有问题，但是upsert-kafka连接器使用的时候就是报错。

2025-03-07 16:23:48 333

原创 Flink1.17.1部署中JDBC连接器配置（各种Connectors使用，持续更新中）

下载地址https://mvnrepository.com/artifact/org.apache.flink/flink-connector-jdbc/3.1.1-1.17，下载flink-connector-jdbc-3.1.1-1.17.jar。博主的Flink集群中已经上传了mysql-connector-java-8.0.27.jar，要用执行FlinkSQL，还需要上传flink-connector-jdbc的jar包。因博主前期配置了mysql-cdc，需要配置的可以参考博主主页另一篇文章。

2025-03-06 16:56:55 1561

原创 FlinkSQL类型转换问题

报错原因，Flink1.17.1，FlinkSQL不支持INT和VARCHAR类型的隐式转换，如果需要可以使用 CAST 函数将类型统一。例如，将 VARCHAR 类型转换为 INT，或者将 INT 类型转换为 VARCHAR。

2025-03-04 17:14:31 566

原创 Flink1.17.1本地单节点部署，并支持连接mysql-cdc

Flink官网中问答部分有介绍flink-sql-connector-mysql-cdc和flink-connector-mysql-cdc的区别以及使用场景，flink-sql-connector-mysql-cdc包括了Flink SQL执行所需的依赖，是个fat jar，只需导入这个包就可以执行Flink SQL连接mysql-cdc。下载flink-sql-connector-mysql-cdc-2.4.2.jar，上传到lib目录。验证insert、delete、update操作，能实时更新。

2025-02-28 14:17:49 565

原创 Flink自定义KafkaSource报错java.lang.IllegalStateException

在IDEA中执行测试自定义KafkaSource报错，Flink程序如下：@Test原因：java.lang.IllegalStateException: No ExecutorFactory found to execute the application 这个错误通常是由于 Flink 无法找到合适的执行器工厂来执行应用程序。这通常与 Flink 的依赖配置有关，尤其是在本地执行时。

2025-02-18 10:49:11 258

在搭建Flink实时数仓，欢迎交流～