Flink register和createTable源码解析

最新推荐文章于 2024-03-20 14:52:09 发布
最新推荐文章于 2024-03-20 14:52:09 发布
阅读量1.2k 收藏
点赞数
分类专栏： Flink 文章标签： Flink 源码解析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huaixiu_0830/article/details/99721453
版权

1、以flink自带的example—WordCountSQL.java为例。它是一个批处理的example，调用了registerDataSet方法，传入三个参数，按序分别是：为DataSet取的名字（以下简称DataSetname），DataSet整个数据集（以下简称DataSet），数据集中字段的名称（以下简称fieldname）。

2、registerDataSet方法是接口BatchTableEnvironment.java中的方法，实现类为BatchTableEnvironmentImpl.scala，它调用了registerTable方法，传入的参数为DataSetname和fromDataSet方法的返回值，首先分析FromDataSet具体内容，它传入了DataSet和fieldname。

3、fromDataSet也是BatchTableEnvironmentImpl.scala类的方法，exprs是将fieldname转换成scala能懂的语言再存入数组之后的值，然后调用createTable方法，传入的是asQueryOperation方法的返回值，asQueryOperation方法传入

最低0.47元/天 解锁文章
应许怀袖
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据Flink（八十二）：SQL语法的DDL：Create 子句
Lansonli（蓝深李）的博客
09-17 736
例如，我们可以使用元数据列从 Kafka 数据中读取 Kafka 数据自带的时间戳（这个时间戳不是数据中的某个时间戳字段，而是数据写入 Kafka 时，Kafka 引擎给这条数据打上的时间戳标记），然后我们可以在 Flink SQL 中使用这个时间戳，比如进行基于时间的窗口操作。如果只是简单的四则运算的话直接写在 DML 中就可以，但是计算列一般是用于定义时间属性的（因为在 SQL 任务中时间属性只能在 DDL 中定义，不能在 DML 语句中定义）。这些列本身是没有以物理形式存储到数据源中的。
Flink源码解析.zip
06-04
1、Flink 源码解析 —— 源码编译运行 2、Flink 源码解析 —— 项目结构一览 3、Flink 源码解析—— local 模式启动流程 4、Flink 源码解析 —— standalonesession 模式启动流程 5、Flink 源码解析 —— ...
Flink SQL--- CREATE语句
chbxw
10-27 1261
flink sql create table
Flink TableAPI Create Table
难得糊涂
03-23 1903
序言 基于最新的v1.14.4 梳理下批流统一的用法cuiyaonan2000@163.com 参考资料: 概念与通用 API | Apache Flink Catalog 标识符由三个部分组成：catalog 名称、数据库名称以及对象名称。如果 catalog 或者数据库没有指明，就会使用当前默认值 Table可以是虚拟的（视图VIEWS）也可以是常规的（表TABLES）。 临时表（Temporary Table） 视图VIEWS可以从已经存在的Table中创建，一般是 ...
FlinkSQL中建表
最新发布
smile6868的博客
03-20 182
然而，您可以在表创建之后，通过外部文档系统或者注释管理工具来维护这些字段的注释。如果您希望在 SQL 语句中保留这些注释以便于阅读和理解，您可以将它们作为 SQL 语句中的注释包含进去，尽管这些注释不会被 Flink 作为元数据存储。如果您需要在 Flink 之外的系统（如 Hive、MySQL 或其他支持字段注释的数据库）中创建表并为字段添加注释，您应该使用该系统支持的语法来添加注释。您可以在 Iceberg 表的外部文档中记录字段注释，或者依赖于其他支持字段注释的存储系统（如果表是同步到这些系统的）。
【flink sql】创建表
fuyun6363的博客
03-21 2762
框架会定期发出所生成的最大的 watermark ，如果当前 watermark 仍然与前一个 watermark 相同、为空、或返回的 watermark 的值小于最后一个发出的 watermark ，则新的 watermark 不会被发出。在 CREATE TABLE 语句中，创建主键会修改列的 nullable 属性，主键声明的列默认都是非 Nullable 的。主键可以和列的定义一起声明，也可以独立声明为表的限制属性，不管是哪种方式，主键都不可以重复定义，否则 Flink 会报错。
实时计算Flink > 独享模式 > Batch（试用） > 创建结果表 —— 创建HDFS结果表
weixin_34087307的博客
11-14 233
本页目录 创建 HDFS 结果表 DDL定义 WITH参数说明 创建 HDFS 结果表 DDL定义 Flink Batch支持使用HDFS作为结果输出。示例代码如下。 create table odps_output( id int, user_name VARCHAR, content VARCHAR ) wi...
flink源码浅析和运行机理梳理
05-17
基于对flink的学习，和对flink源码的简单梳理，从flink on yarn的角度，介绍flink从启动，到提交yarn任务，以及完成整个过程涉及到的进程交互和内存管理等底层逻辑。该资源一共分为4个部分：1、yarn提交流程，2、...
flink开发实战之flink原理解析
01-27
我们知道目前流处理的主要流行的计算引擎有，Storm，SparkStreaming。...Flink的出现完美的解决了以上问题，这也是flink出现的原因，flink不仅能提供同时支持高吞吐和exactly-once语义的实时计算，
flink table flink table flink table
03-30
flink table
FlinkSQL建表语句与插入语句
luo981695830的博客
10-09 6494
FlinkSQL来构建实时数仓，其思路大概如下：Flink的Table API提供了对kafka/jdbc/hbase等实时开发涉及到的组件的支持，以kafka为例，将kafka topic抽象成Flink Table，如下： FlinkSQL读数据建表语句 CREATE TABLE flink_rtdw.demo.kafka_source_table ( topic STRING, bidWord STRING, planID STRING, eventTime INTEGER, ...
Flink Table API创建环境的方式
elaine的博客
03-26 598
// 1. old planner 通过流环境来 创建Table流处理环境 val fsSettings = EnvironmentSettings.newInstance().useOldPlanner().inStreamingMode().build() val fsEnv = StreamExecutionEnvironment.getExecutionEnvironment val fsTableEnv = StreamTableEnvironment.create(f.
flinksql create table 可设置的参数
qq_33009107的博客
07-22 729
CONSTRAINTS - constraints such as primary and unique keys GENERATED - computed columns METADATA - metadata columns OPTIONS - connector options that describe connector and format properties PARTITIONS - partition of the tables WATERMARKS - watermark declara
CreateTable执行过程分析（Dinky0.7.0，Flink1.12.7）
u010782920的博客
02-27 334
dinky0.7.0，flink-1.12.7，CreateTable执行过程分析； catalog，源码
flink学习笔记-table与sql简介、编程开发及DataSet、DataStream与Table相互转换
陈同学
03-26 979
1：Flink table以及SQL的基本介绍 Apache Flink 具有两个关系型API：Table API 和SQL，用于统一流和批处理。 Table API 是用于 Scala 和 Java 语言的查询API，允许以非常直观的方式组合关系运算符的查询，例如 select，filter 和 join。Flink SQL 的支持是基于实现了SQL标准的 Apache Calcite。无论...
Flink SQL系列：Table API使用
weixin_43272605的博客
04-23 1788
下面有两种API，分别是Apache社区的原生Flink API，还有一种是经过阿里优化过的一种APi，叫做Blink，两种API对于Batch和Stream有一些区别 1：Blink对于“批”表会当做“流”表处理，所以“批”表和Dataset之间是不可以转换的，而DataSet回当做DataStream程序去处理，而DataStream和“流”表之间可以相互转换的。 package flin...
Flink学习笔记
weixin_48412167的博客
03-01 206
flink、常用名称、学习、笔记
Flink系列Table API和SQL之：创建表环境和创建表
zhengzaifeidelushang的博客
12-31 2803
Flink系列Table API和SQL之：创建表环境和创建表
Flink实战(六) - Table API & SQL编程
JavaEdge全是干货的技术号
07-21 4976
1 意义 1.1 分层的 APIs & 抽象层次 Flink提供三层API。 每个API在简洁性和表达性之间提供不同的权衡，并针对不同的用例。 而且Flink提供不同级别的抽象来开发流/批处理应用程序 最低级抽象只提供有状态流。它通过Process Function嵌入到DataStream API中。它允许用户自由处理来自一个或多个流的事件，并使用一致的容错状态。此外，用户可以...
flink sql CREATE TABLE AS SELECT
06-12
"CREATE TABLE AS SELECT" 是 Flink SQL 中的一种语法，用于创建一个新的表并将查询结果插入该表中。 具体语法如下： ```sql CREATE TABLE new_table_name AS SELECT * FROM source_table_name; ``` 其中，new_...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值