- 博客(2)
- 收藏
- 关注
RSS订阅原创 记一次hive sql的优化
跑一个hive SQL作业，卡在一个join的stage上不动了，两边数据量也不大，左边9.8w，右边23w, 4个task跑了十几分钟没动，强制hint mapjoin也没有用；开始发现是左右两个表join的key字段类型不一致，一个varchar，一个decimal，改成一样的也没什么卵用，还是卡死。 瞄了一眼两边join key 的count数，也没太大的倾斜（这里要是多瞄一眼就好了）。这时候4个task终于有两个跑完了，发现异常了，shuffle read和write...
2021-11-20 23:28:57
669
原创 记一次flink SQL watermark一直不触发的坑
在用flink SQL对时间窗口做group by聚合的时候一直没有数据，但在group by之前所有的数据流都正常猜想是watermark没有触发，到WBEUI上一看，果然一直是no watermark但是为什么watermark没有触发呢？时间字段提取，生成都很正常啊，后来我一看kafka的消费情况，才明白上游写入的并行度为1，但默认创建的topic有三个分区，所以partition1,2一直没有数据，flinksql在从这两个partition拿数据的时候，什么也拿不到，所以把w.
2021-09-12 17:16:59
2319
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人