超级会员免费看
本文介绍了在Flink中使用sql-client查询Hive表时，不同执行模式(batch和streaming)下遇到的现象。现象1和2表明无论批处理还是流处理模式，Flink都能读取Hive的小表和Kafka流表。然而，现象3显示，当Hive外部日志文件关联表在streaming模式下无法被Flink读取，而在batch模式下可以。文章探讨了可能的原因，并提供了创建Hive和Flink表的DDL示例。
配置文件sql-client-defaults.yaml 中
execution:
planner: blink
type: batch – batch or streaming ？默认是streaming
使用bin/sql-client.sh embedded 进入客户端，查询hive中表数据
现象1：创建的hive小表src，type: streaming flinksql是可以读取的。type: batch flinksql可以读取。
现象2：创建flink的kafka user_log流表，type: streaming flinksql是可以读取的。
现象3：创建的hive外部日志文件关联表http_input_log ,type: streaming flinksql 不可以读取，type: batch flinksql可以读取。
以上想象的原因是什么？
create table http_input_log(
log_date string,
订阅专栏 解锁全文
扫一扫
962
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
