Direction_Wind
一个普通的程序员,希望能够在大数据领域有一定建树
展开
-
flinksql bug:doesn‘t support consuming update and delete changes which is produced by
处理办法:不输出rn就好了,很奇怪 有个相同的场景,输出rn 也不报错,但是那个中间做了一些处理逻辑,分析是 处理逻辑 导致下游的回撤场景发生了不同。从我个人的代码中 我分析出,回撤流场景,有rownumber()场景,并使用inner join ,下游输出了rn,导致报错。这句话有两个变量 一个是 StreamPhysicalOverAggregate 另一个是 node Join。表示 前一个算子 因为 后一个算子 而不支持更新和删除操作,简单点说就是 这个代码不支持回撤流场景,原创 2024-07-05 15:57:16 · 53 阅读 · 0 评论 -
flinksql BUG : flink hologres-cdc source FINISHED
这个flink的核心报错在:Caused by: org.apache.flink.util.FlinkRuntimeException: There is a FINISHED state of task, and the job is still running, please take a look!分析后发现是hologres-cdc的原表,设置的shard数量过小,我flink任务并发过大的情况下,shard数量不够,就会让任务中部分 task finished,而发生这种情况。原创 2024-06-15 14:28:44 · 209 阅读 · 0 评论 -
flinksql 回撤流中主键发生变更的影响(group by中的值发生改变)
这篇文章主要谈论一个场景,简单来说:首先我们来简单的说一下什么是回撤流,以及回撤流的底层原理,举个例子:这个说的不是很清晰 ,其实倒数第二个图当作输出 比较好看出来,再bank 这一条来之后,数据结果是hello 1world 1bank 1这个时候 又来了一条hello,刚刚已经下发的hello 1 这个结果就不对了,就需要降这条结果撤回,也就是撤回一条 hello 1 下发一条 hello 2。简单的说 这就是回撤流。原创 2024-06-02 01:54:41 · 292 阅读 · 0 评论 -
flinksqlbug : AggregateFunction udf Could not extract a data type from
java中的数据类型分两种 一个是基本类 一个是封装类。例如 数据类型int是Java中的基本数据类型,而Integer是int的封装类。这是因为 ArrayList是封装类型,在udf中 访问其中的私有方法访问不到,所以应该用 List ,在创建的时候。这里我用了封装类,导致无法解析数据类型,改用了 java.lang.long 直接声明引用就可以了。返回List接口 就可以了。原创 2024-02-04 10:21:07 · 628 阅读 · 0 评论 -
flinksql bug:In ‘hash‘ distribution mode with equality fields set, partition field ‘1000: ymd_bucket
flinksql+iceberg原创 2023-12-15 17:21:04 · 416 阅读 · 0 评论 -
FlinkSql bug :OVER windows‘ ordering in stream mode must be defined on a time attribute.
bug原创 2023-12-15 16:21:48 · 785 阅读 · 0 评论 -
IcebergBug:The equality field day should be NOT NULL & # Caused by: org.apache.flink.table.api.Vali
Could not create a PRIMARY KEY ‘’. Column ‘’ is nullable.原创 2023-11-07 14:50:10 · 230 阅读 · 0 评论 -
FlinkSql bug : Column types of query result and sink for registered table ‘default_catalog.******
无原创 2023-12-07 16:08:58 · 848 阅读 · 0 评论 -
Flinksql bug :Illegal mixing of types in CASE or COALESCE statement
flinksql中的 COALESCE 函数 或 case 函数。case when 多条判断语句 输出数据类型不一致。原创 2023-12-06 16:51:45 · 849 阅读 · 0 评论 -
Flinksql bug : Temporal table join requires an equality condition on fields of table
不支持 已经是int的类型 再次cast(int类型字段 as int) 与 cast(string类型字段 as int) 做关联 必须 string类型字段 = cast(int类型字段 as string) 这么做。如果关联条件都是字符串,内容是数字,两测都强制类型转换,cast(feild as bigint) 会报错。很奇怪 做了强制类型转换反而报错了。关联条件必须等值关联 也就是必须是等号,并且 关联条件两边要确定数据类型相同。原创 2023-12-05 15:51:04 · 827 阅读 · 0 评论 -
记一次mr中途落盘数据丢失 hdfs超租约异常 Error: java.io.FileNotFoundException: File does not exist:
这种问题首先定位的是hdfs和hadoop基础环境的问题,因为不是稳定发生,概率也不确定,所以非常不好复现,但却关键时刻会发生给你一记背刺,最关键的是失败了他会判定为成功,你就算监控都监控不到,就很让人麻。将DataNode max data transfer threads 参数从16401 翻倍 解决问题。现象为:mr任务偶尔中途失败,但执行结果yarn会判定为成功,具体可以看日志报错。原创 2023-01-31 14:27:40 · 930 阅读 · 0 评论 -
HiveSqlBug :return code 1&No cluster diagnostics found&return code -101
这种报错可能出现在insert select中,也可能直接load中报错出现,对于tez引擎和mr引擎,这个报错可能会有不同的原因 需要读者自行分辨。解决办法:频繁登录导致的session错乱,注销hue 等待一段时间 重新登录。这种报错有可能是锁表,例如hive3中有事务,一读一写就会有这种问题。这个一般是动态分区时报的错,或者传参过多导致的。原创 2022-07-26 19:35:02 · 3609 阅读 · 0 评论