Flink
文章平均质量分 67
问题不太大
这个作者很懒,什么都没留下…
展开
-
线上flink任务重启报错(Hadoop问题)java.lang.NumberFormatException: For input string: “30s“
线上Flink任务重启时,提交任务失败,具体报错如下:2021-12-31 18:09:19java.lang.NumberFormatException: For input string: "30s" at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65) at java.lang.Long.parseLong(Long.java:589) at java.lang.Long.parseL原创 2022-01-04 14:30:31 · 3619 阅读 · 1 评论 -
Iceberg 合并小文件并删除历史(Flink)
Iceberg 合并小文件并删除历史(Flink)Iceberg每一次操作都会产生多个数据文件(metadata、data、snapshot),需要自行合并清理。详细Iceberg写入时文件变化请参考官网https://iceberg.apache.org/建表时新增with配置# iceberg使用代码合并小文件后如果不开启此配置,历史文件同样不会删除,开启后就会实现合并后清除历史文件(历史文件保留最大值为5,metadata和data里面文件数则始终保持为6个) # 启用提交后写入元数据原创 2021-10-14 17:53:45 · 37643 阅读 · 0 评论 -
flink1.12 提交Job 时 Exception in thread “main“ java.lang.NoSuchMethodError: org.apache.commons.cli.Opt
flink1.12 提交Job 时 Exception in thread “main” java.lang.NoSuchMethodError: org.apache.commons.cli.Option.builder(Ljava/lang/String;)Lorg/apache/commons/cli/Option$Builder;完整报错信息:Exception in thread “main” java.lang.NoSuchMethodError: org.apache.commons.c原创 2021-10-14 17:35:01 · 36527 阅读 · 0 评论 -
org.apache.iceberg.hive.HiveTableOperations$WaitingForLockException: Waiting for lock.
报错信息org.apache.iceberg.hive.HiveTableOperations$WaitingForLockException: Waiting for lock. at org.apache.iceberg.hive.HiveTableOperations.lambda$acquireLock$9(HiveTableOperations.java:444) ~[dw-0.1.jar:?] at org.apache.iceberg.util.Tasks$Builder.runTask原创 2021-09-28 18:05:45 · 35569 阅读 · 2 评论 -
基于腾讯云EMR的Flink1.10 Catalog 集成 Hive2.3.7 大坑
基于腾讯云EMR的Flink1.10 Catalog 集成 Hive2.3.7 大坑正常Flink集成Hive**`但是问题来了:`**解决方案正常Flink集成Hive普通版本Flink Catalog集成Hive的元数据时根据Flink官网一步一步来是没有问题的。官网给了Hive各个版本集成时应该去拷贝哪些jar包这些都是正常的操作流程,然后还要sql-client的配置方式也有说明。看到这里可以说是照着官网有手就能干,保姆式服务,下面官方还给出了Flink的Catalog对Hive的支原创 2021-06-08 17:02:49 · 44291 阅读 · 0 评论