【Flink】Flink1.12.0 FlinkSQL消费Kafka 使用 temporal join 关联维表Hive 最新分区数据 join 不上

最新推荐文章于 2024-02-26 23:04:23 发布
最新推荐文章于 2024-02-26 23:04:23 发布
阅读量861 收藏 1
点赞数
分类专栏： 大数据-flink 文章标签： flink temporal join hive join不上
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/116767412
版权
大数据-flink 专栏收录该内容
832 篇文章 823 订阅 ¥99.90 ¥99.00
订阅专栏

文章目录


在这里插入图片描述

1.概述

2.场景1

2.1 概述

场景是这样的
Flink SQL 消费kafka 关联Hive维表 最新分区

刚开始 我往Hive维表里筛了 10条左右数据 运行Flink SQL 能输出结果 关联上

后面 我重新删除分区 重新往Hive 维表里筛了 6000多条数据 运行FLink SQL
竟然 关联不上 为什么呀？而且之前能关联上的 也关联不上 程序无报错

映射Kafka

CREATE TABLE hive.kafka.testtest
了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
flink实战--Temporal Table JOIN
阿华田的博客
05-16 2332
Temporal Table简介 在ANSI-SQL 2011中提出了Temporal 的概念，Oracle，SQLServer，DB2等大的数据库厂商也先后实现了这个标准。Temporal Table记录了历史上任何时间点所有的数据改动，Temporal Table是Append Only表上的参数化视图，它把Append Only的表变化解释为表的Changel...
Flink Sql Hive维表Join
03-11 3855
Fink 1.12 Hive维表Join
【大数据】Flink SQL 语法篇（六）：Temporal Join
书山有路，学海无涯。记录成长，追逐梦想
02-26 991
Temporal Join 在离线的概念中其实是没有类似的 Join 概念的，但是离线中常常会维护一种表叫做拉链快照表，使用一个明细表去 Join 这个拉链快照表的 Join 方式就叫做 Temporal Join。而 Flink SQL 中也有对应的概念，表叫做Versioned Table，使用一个明细表去 Join 这个Versioned Table的 Join 操作就叫做 Temporal Join。
flink-sql-connector-kafka_2.11-1.12.0.jar
03-30
flink-sql-connector-kafka_2.11-1.12.0
flink-sql-connector-kafka-2.12-1.13.1.jar
最新发布
03-15
flink-sql-connector-kafka_2.12-1.13.1.jar 是 Apache Flink 的一个 Kafka SQL Connector 的 JAR 包，用于在 Flink SQL 环境中与 Apache Kafka 集成。这里面的数字 2.12 和 1.13.1 分别表示了这个 JAR 包所依赖的 Scala 和 Flink 的版本。 具体来说： flink-sql-connector-kafka：表示这是一个 Flink 的 SQL Kafka 连接器。 _2.12：表示这个 JAR 包是为 Scala 2.12 版本编译的。Scala 是 Flink 和很多其他大数据工具常用的编程语言。 1.13.1：表示这个 JAR 包是 Flink 1.13.1 版本的。 当你需要在 Flink SQL 环境中从 Kafka 读取数据或向 Kafka 写入数据时，你可以使用这个 JAR 包。这个连接器支持 Flink SQL 的标准 DDL (Data Definition Language) 和 DML (Data Manipulation Language)
Flink实时读取Kafka数据批量聚合（定时按数量）写入Mysql.rar
12-27
Flink实时读取Kafka数据批量聚合（定时/按数量）写入Mysql源码+kafka安装包+zookeeper安装包
flink采集文本数据写入ES，flink消费kafka数据写入ES,以及一些flink相关的demo
06-26
代码主要包含：flink采集文本数据写入ES，flink消费kafka数据写入ES,以及一些flink相关数据流相关的数据采集demo，附带有demo的技术文档，文档主要介绍了如何编译jar包，在flink的管理页面如何提交任务。 1、技术文档目录：src/main/docs 2、代码目录：src/com/
FlinkSql系列7之Temporal Join
feiyangailing的博客
04-01 3996
FlinkSql系列7之Temporal Join 文章目录FlinkSql系列7之Temporal Join@[TOC](文章目录)前言一、Temporal Join是什么？二、测试步骤1.使用flinkcdc建立要Temporal Join的表2.建立kafka数据源表3.关联查询测试总结 前言 本次记录一下Temporal Join的具体实践用法 一、Temporal Join是什么？ Temporal Join又可以叫快照Join ,在实时的场景里面，比如说对于一本书的价格可能在一小时前是10，但是
一石激起千层浪：FlinkSQL Join维表和其他疑问的梳理
悦上心灵的博客
09-11 2400
开发过程中遇到的错误引入话题：FlinkSQL Join维表和其他疑问概念与理解
Flink SQL之时态表（Temporal Tables）
蔡政洁的博客
04-09 2429
目录 时态表（Temporal Table）是一张随时间变化的表 – 在 Flink 中称为动态表，时态表中的每条记录都关联了一个或多个时间段，所有的 Flink 表都是时态的（动态的）。 时态表包含表的一个或多个有版本的表快照，时态表可以是一张跟踪所有变更记录的表（例如数据库表的 changelog，包含多个表快照），也可以是物化所有变更之后的表（例如数据库表，只有最新表快照）。 版本: 时态表可以划分成一系列带版本的表快照集合，表快照中的版本代表了快照中所有记录的有效区间，有效区间的开始时间和结束时间可
Flink消费Kafka数据1
08-03
1. 实验环境 2. 资源购买 3. 开始实验
地图数据
huangguo1688的博客
12-03 960
一、全国矢量数据省级，市级，县级，镇级 二、世界矢量数据洲级，国家级，市级 三、全国路网水系矢量数据 四、全国DEM 五、全国地类 全国矢量数据省级，市级，县级，镇级和世界矢量数据洲级，国家级，市级和全国路网水系矢量数据和全国DEM和全国地类等其他矢量和栅格数据（注：非泄密数据，仅供学习，需要联系QQ:875782548） ...
flink1.12.2实现kafka流数据与hive动态维表信息关联
ImStarBoy的博客
11-23 2356
flink新手村任务，hive可以用最新的数据和kafka流数据关联的最简单实现样例。
Flink sql join hive 维表
weixin_41917987的博客
11-04 2247
在云栖社区提问了一下，后来自己尝试出来了。。。 以下是提问： ++++++++++++++++++++++++++++++++++++++++ 我在尝试使用 kafka 数据流 join hive 维表时，代码启动之初，Flink 会加载一次 hive 中的维表，但是后续插入到 hive 表中的数据不能被 join 到。 查看官网和中文社区的资料，提示设置 lookup.join.cache.ttl 配置参数，我将这个参数尝试设置在 TableEnv.conf 中，和 Table hits 设置在表
使用Flink实现kafka流关联hive中维表
ImStarBoy的博客
09-03 1112
flink版本:1.10.1 kafka版本：0.10.0 hive版本:1.2.1 依赖： <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-table-planner-blink_2.12</artifactId> <version>1.10.1</version> </dependency&g
flink sql kafka写数据到hive
weixin_41197407的博客
05-27 2364
step1:flink连接hive配置 首先确保启动hive metastore远程服务 flink安装目录下新建文件夹hive-conf,然后vi hive-site.xml，配置hive仓库地址和metastore远程服务连接地址。（此配置为了在flink集群中启动hive客户端来远程访问hive metastore服务）具体如下： 新建hive-conf文件夹： hive-site.xml配置 <configuration> <property> <nam
一个flink+kafka+hive示例
zhangs_123的博客
04-14 1919
版本：Flink 1.13.1 ,Hive 2.1.1 进入flink解压目录 bin/yarn-session.sh -nm testFlink2Hive -d -qu root.test -jm 1024 -tm 1024 bin/sql-client.sh embedded SET execution.checkpointing.interval = 12h; CREATE CATALOG myhive WITH ( 'type' = 'hive', 'default-datab
FlinkSQL消费Kafka写入Hive表
qq_32068809的博客
10-13 7166
flinkSQL消费kafka实时写入hive表
如何用flink sql实现数据流表与hive维表的关联
04-01
要使用Flink SQL将流表与Hive维表关联，需要遵循以下步骤： 1.首先需要在Flink SQL客户端中注册Hive表。可以使用以下命令将Hive表注册到Flink SQL环境中： ``` CREATE TABLE hive_table ( id INT, name STRING, age INT ) WITH ( 'connector' = 'hive', 'database-name' = 'my_db', 'table-name' = 'my_table' ) ``` 2.在Flink SQL中创建流表。可以使用以下命令创建流表： ``` CREATE TABLE stream_table ( id INT, name STRING, age INT ) WITH ( 'connector' = 'kafka', 'topic' = 'my_topic', 'properties.bootstrap.servers' = 'localhost:9092', 'format' = 'json' ) ``` 3.将流表和Hive表连接起来。可以使用以下命令将流表和Hive表连接起来： ``` SELECT s.id, s.name, s.age, h.address FROM stream_table s JOIN hive_table h ON s.id = h.id ``` 这个SQL查询将流表和Hive表连接起来，并将它们的数据合并在一起。 需要注意的是，连接Hive表可能需要配置Flink的Hive集成。要使用Flink的Hive集成，需要将以下配置添加到Flink的配置文件中： ``` table.planner = blink execution.runtime-mode = batch ``` 这将启用Flink的Blink Planner和批处理模式，以允许Flink与Hive进行集成。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值