Blink和Flink常见问题及诊断

最新推荐文章于 2024-05-02 22:08:13 发布

胜利的曙光

最新推荐文章于 2024-05-02 22:08:13 发布

阅读量1.7k

点赞数 1

分类专栏：阿里云 Flink 文章标签： flink big data

本文链接：https://blog.csdn.net/shenglishuguang/article/details/122886217

版权

本文详细介绍了Blink和Flink在处理实时数据时遇到的问题，包括基本概念、实时写入慢的排查流程、数据问题、维表查询问题以及常见错误和解决方法。针对实时写入性能下降，提出了检查存储格式、反压情况和数据倾斜等解决策略，并提供了维表Join的优化建议。此外，列举了多种报错情况及其可能原因和对应的解决措施。

摘要由CSDN通过智能技术生成

Blink和Flink常见问题及诊断

基本概念

Hologres性能

写入性能

列存表： InsertOrIgnore > InsertOrReplace > InsertOrUpdate
行存表： InsertOrReplcae = InsertOrUpdate > InsertOrIgnore

参数	说明
InsertOrIgnore	结果表有主键，实时写入时如果主键重复，丢弃后到的数据。
InsertOrReplace	结果表有主键，实时写入时如果主键重复，按照主键更新，如果写入的一行数据不包含所有列，缺失的列的数据补Null。
InsertOrUpdate	结果表有主键，实时写入时如果主键重复，按照主键更新，如果写入的一行数据不包含所有列，缺失的列不更新。

点查性能

行存 = 行列混存 > 列存。

Blink、Flink（VVP）、开源Flink支持情况

产品形态	源表	结果表	维表	Binlog	描述
Flink全托管	支持行存储及列存储。	支持行存储及列存储。	建议使用行存储。	VVP-2.4版本支持。	使用VVP开发平台。
Blink独享	支持行存储及列存储。	支持行存储及列存储。	建议使用行存储。	Hologres V0.8版本只支持行存储，V0.9及以上版本支持行存储及列存储。建议使用行存储。	使用Bayes开发平台。Blink独享集群3.5以下的版本与Hologres不兼容，建议您升级至3.7版本使用。
开源Flink1.10	支持行存储及列存储。	支持行存储及列存储。	无	不支持	无
开源Flink1.11	支持行存储及列存储。	支持行存储及列存储。	建议使用行存储。	不支持	从开源Flink1.11版本开始，Hologres代码已开源。
开源Flink1.12	支持行存储及列存储。	支持行存储及列存储。	建议使用行存储。	不支持	从开源Flink1.11版本开始，Hologres代码已开源。

Blink、Flink 映射Hologres的SQL示例如下。

create table holo_source(
'hg_binlog_lsn' BIGINT HEADER,
'hg_binlog_event_type' BIGINT HEADER,
'hg_binlog_timestamp_us' BIGINT HEADER,
A int,
B int,
C timestamp )
with (
type = 'hologres',
'endpoint'