【flink】1.12 读写hive

重生之我在异世界打工

于 2021-02-22 09:38:20 发布

阅读量1.7k

点赞数 1

分类专栏： flink

本文链接：https://blog.csdn.net/weixin_44628586/article/details/113929109

版权

flink 专栏收录该内容

38 篇文章 119 订阅 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了如何使用Flink 1.12版本进行Hive的读写操作，包括批处理和流处理模式下写入Hive表的细节，以及流式读取Hive表的配置参数。重点讨论了Hive维表JOIN，包括Temporal Join最新分区和最新表的使用方法，并提供了示例。同时，文章提醒了在使用Hive维表JOIN时需要注意的内存管理和性能优化问题。

摘要由CSDN通过智能技术生成

问题解决

Caused by: org.apache.flink.runtime.messages.FlinkJobNotFoundException: Could not find Flink job

这是在sql-client中查询hive表遇到的问题，启动一下flink的Standlone集群即可。要把之前的启动的都关掉。

从Kafka读数据写入hive，一直查不到数据？

打开路径/user/hive/warehouse/flink.db/user_behavior_hive_tbl 发现好多分区，原来是时间戳搞错了,吧ts/1000换成秒在转换

SQL client

1. 切换方言
Flink SQL> set table.sql-dialect=hive; -- to use hive dialect

了解本专栏

超级会员免费看

重生之我在异世界打工

关注

1
点赞
踩
3

收藏

觉得还不错? 一键收藏
打赏
1
评论
【flink】1.12 读写hive

问题解决Caused by: org.apache.flink.runtime.messages.FlinkJobNotFoundException: Could not find Flink job这是在sql-client中查询hive表遇到的问题，启动一下flink的Standlone集群即可。要把之前的启动的都关掉。从Kafka读数据写入hive，一直查不到数据？打开路径/user/hive/warehouse/flink.db/user_behavior_hive_tbl 发现好
复制链接

扫一扫