flink-sql所有数据类型-1.13

已于 2022-11-05 18:24:13 修改
阅读量6.3k 收藏 16
点赞数 2
分类专栏： flink 文章标签： flink flink sql flink sql数据类型
于 2022-08-02 17:55:16 首次发布
文件转载，请标明出处。欢迎大家一起讨论技术，写的不对的地方还请大家一起讨论。
本文链接：https://blog.csdn.net/u012443641/article/details/126127407
版权

1. 版本说明

本文档内容基于flink-1.13.x，其他版本的整理，请查看本人博客的 flink 专栏其他文章。

2. 介绍

Flink SQL有一组丰富的本地数据类型可供用户使用。

数据类型描述表生态系统中值的逻辑类型，它可用于声明操作的输入和/或输出类型。

Flink的数据类型类似于SQL标准的数据类型，但也包含了关于值是否为空的信息，以便有效地处理标量表达式。

数据类型的例子有:

  • INT
  • INT NOT NULL
  • INTERVAL DAY TO SECOND(3)
  • ROW<myField ARRAY<BOOLEAN>, myOtherField TIMESTAMP(3)>

所有预定义的数据类型在下面列出。

2.1. Table API 中的数据类型

java/scala：

基于 JVM 的用户，在使用 Table API 或者是自定义连接器、catalog、自定义函数时，可以使用 org.apache.flink.table.types.DataType 类的实例。

DataType 实例有两个职责：

  1. 声明一个逻辑类型：这并不是定义传输或存储的具体物理表示，但其定义了基于 jvm/Python 语言和表生态系统之间的边界。
  2. 可选：将数据的物理表示提示给 planner 计划器，这对于其他 API 是非常有用的。

为了流畅的使用 API ，可以在表程序开头添加 import 语句导入所有的数据类型。

java

import static org.apache.flink.table.api.DataTypes.*;
DataType t = INTERVAL(DAY(), SECOND(3));

scala

import org.apache.flink.table.api.DataTypes._
val t: DataType = INTERVAL(DAY(), SECOND(3));

2.1.1. 物理提示

基于sql的类型系统末端的表生态系统边缘需要物理提示，并且是编程代码指定的数据类型。提示表示所期望的数据格式。

例如，数据源使用 java.sql.Timestamp 类来生成逻辑时间戳值，而不是使用 java.time.LocalDateTime，后者是默认值。有了这些信息，程序运行时就可以将生成的类转换为它的内部数据格式。同时，sink 也可以声明它从运行时获取到的数据格式。

下面是一些如何声明桥接转换类的例子:

java

// 告诉运行时使用 java.sql.Timestamp 而不是 java.time.LocalDateTime 实例
DataType t = DataTypes.TIMESTAMP(3).bridgedTo(java.sql.Timestamp.class);

// 告诉运行时使用原生的 int 数组而不是包装的 integer 数组
DataType t = DataTypes.ARRAY(DataTypes.INT().notNull()).bridgedTo(int[].class);

scala

// 告诉运行时使用 java.sql.Timestamp 而不是 java.time.LocalDateTime 实例
val t: DataType = DataTypes.TIMESTAMP(3).bridgedTo(classOf[java.sql.Timestamp]);

// 告诉运行时使用原生的 int 数组而不是包装的 integer 数组
val t: DataType = DataTypes.ARRAY(DataTypes.INT().notNull()).bridgedTo(classOf[Array[Int]]);

注意：通常来说，只有在扩展 API 时才要求物理提示。用户在自定义 sources/sinks/functions 时并不需要定义这些提示。表程序中的提示（比如：field.cast(TIMESTAMP(3).bridgedTo(Timestamp.class))）将会被忽略。

下面将列出所有预定义数据类型。

默认的计划器支持下面的SQL类型

java/scala

数据类型解释
CHAR
VARCHAR
STRING
BOOLEAN
BYTES现在还不支持BINARY 和VARBINARY
DECIMAL支持固定的精度和刻度
TINYINT
SMALLINT
INTEGER
BIGINT
FLOAT
DOUBLE
DATE
TIME只支持精度：0
TIMESTAMP
TIMESTAMP_LTZ
INTERVAL只支持interval of MONTH 和SECOND(3)
ARRAY
MULTISET
MAP
ROW
RAW
structured types目前仅可在自定义函数中使用

3. 列出所有数据类型

该章节会列出所有预定义的数据类型。

java/scala

对于基于 JVM 的 Table API ，在 org.apache.flink.table.api.DataTypes 中的类型都已经可以使用了。

3.1. Character Strings

3.1.1. CHAR

固定长度的character string。

SQL

CHAR
CHAR(n)

java/scala

DataTypes.CHAR(n);

桥接到JVM数据类型

Java 类型InputOutputOutput
java.lang.StringXX默认
byte[]XXUTF-8编码
org.apache.flink.table.data.StringDataXX内部数据结构

该类型可以使用CHAR(n)声明，其中n是字符的数量。n的值必须在1和2147,483,647之间(前后都包括)。如果没有指定长度，则n等于1。

3.1.2. VARCHAR/STRING

可变长度的character string。

SQL

VARCHAR
VARCHAR(n)

STRING

java/scala

DataTypes.VARCHAR(n);
DataTypes.STRING();

桥接到JVM数据类型

Java 类型InputOutputOutput
java.lang.StringX默认
byte[]XXUTF-8编码
org.apache.flink.table.data.StringDataXX内部数据结构

该类型可以使用VARCHAR(n)声明，其中n是最大的字符数量。N的值必须在1和2147,483,647之间(包括两者)。如果没有指定长度，则n等于1。

STRING和VARCHAR(2147483647)相同。

3.2. Binary Strings

BINARY

固定长度的二进制字符串，等同于字节序列。

SQL

BINARY
BINARY(n)

java/scala

DataTypes.BINARY(n);

桥接到JVM数据类型

Java 类型InputOutputOutput
byte[]XX默认

该类型可以使用BINARY(n)声明，其中n为字节数。N的值必须在1和2147,483,647之间(包括两者)。如果没有指定长度，则n等于1。

3.2.1. VARBINARY/BYTES

可变长度的二进制字符串，等同于字节序列。

SQL

VARBINARY
VARBINARY(n)

BYTES

java/scala

DataTypes.VARBINARY(n);
DataTypes.BYTES();

桥接到JVM数据类型

Java 类型InputOutputOutput
byte[]XX默认

该类型可以使用VARBINARY(n)声明，其中n为最大字节数。N的值必须在1和2147,483,647之间(包括两者)。如果没有指定长度，则n等于1。

BYTES和VARBINARY(2147483647)相同。

3.3. 精确数字

3.3.1. DECIMAL

具有固定精度和比例的小数的数据类型。

SQL

DECIMAL
DECIMAL(p)
DECIMAL(p, s)

DEC
DEC(p)
DEC(p, s)

NUMERIC
NUMERIC(p)
NUMERIC(p, s)

java/scala

DataTypes.DECIMAL(p,s);

桥接到JVM数据类型

Java 类型InputOutputOutput
java.math.BigDecimalXX默认
org.apache.flink.table.data.DecimalDataXX内部数据结构

该类型可以使用DECIMAL(p, s)声明，其中p是数字(精度)的总位数，s是数字(刻度)小数点右边的位数。
P的值必须在1和38之间(包括两者)。S的值必须在0和p之间(包括两者)。p的默认值是10。s的默认值是0。

NUMERIC(p, s)、DEC(p, s)和该类型含义一样。

3.3.2. TINYINT

值从-128到127，1个字节，有符号整数。

SQL

TINYINT

java/scala

DataTypes.TINYINT();

桥接到JVM数据类型

Java 类型InputOutputOutput
java.lang.ByteXX默认
byteX(X)类型为非空null时才会输出

3.3.3. SMALLINT

值从-32,768到32,767，2个字节，有符号整数。

SQL

SMALLINT

java/scala

DataTypes.SMALLINT();

桥接到JVM数据类型

Java 类型InputOutputOutput
java.lang.ShortXX默认
shortX(X)类型为非空null时才会输出

3.3.4. INT

值从-2147,483,648到2147,483,647，4个字节，有符号整数。

SQL

INT
INTEGER

java/scala

DataTypes.INT();

桥接到JVM数据类型

Java 类型InputOutputOutput
java.lang.IntegerXX默认
intX(X)类型为非空null时才会输出

INTEGER也表示该类型。

3.3.5. BIGINT

值从-9,223,372,036,854,775,808到9,223,372,036,854,775,807，8个字节，有符号整数。

SQL

BIGINT

java/scala

DataTypes.BIGINT();

桥接到JVM数据类型

Java 类型InputOutputOutput
java.lang.LongXX默认
longX(X)类型为非空null时才会输出

3.4. 近似数字

3.4.1. FLOAT

4个字节的单精度浮点数。

与SQL标准相比，该类型不带参数。

SQL

FLOAT

java/scala

DataTypes.FLOAT();

桥接到JVM数据类型

Java 类型InputOutputOutput
java.lang.FloatXX默认
floatX(X)类型为非空null时才会输出

3.4.2. DOUBLE

8字节的双精度浮点数。

SQL

DOUBLE
DOUBLE PRECISION

java/scala

DataTypes.DOUBLE();

桥接到JVM数据类型

Java 类型InputOutputOutput
java.lang.DoubleXX默认
doubleX(X)类型为非空null时才会输出

DOUBLE PRECISION也表示该类型。

3.5. Date 和Time

注意：所有时间类型的精度 p 指的都是秒后面的小数个数。

3.5.1. DATE

日期数据类型为年-月-日，取值范围为0000-01-01 ~ 9999-12-31。

与 SQL 标准相比，范围从 0000 年开始。

SQL

DATE

java/scala

DataTypes.DATE();

桥接到JVM数据类型

Java 类型InputOutputOutput
java.time.LocalDateXX默认
java.sql.DateXX
java.lang.IntegerXX描述从纪元开始经过的天数
intX(X)描述从纪元开始已经过的天数。类型为非空null时才会输出

3.5.2. TIME

无时区的时间数据类型，由时:分:秒[.小数]组成，精度可达纳秒，值范围从00:00:00.000000000到23:59:59.999999999。

SQL/Java/Scala

与SQL标准相比，该类型不支持闰秒(23:59:60和23:59:61)，因为该类型语义更接近java.time.LocalTime。目前不支持带时区的时间。

SQL

TIME
TIME(p)

java/scala

DataTypes.TIME(p);

桥接到JVM数据类型

Java 类型InputOutputOutput
java.time.LocalTimeXX默认
java.sql.TimeXX
java.lang.IntegerXX描述当天经过的毫秒值
intX(X)描述当天经过的毫秒值
类型为非空null时才会输出
java.lang.LongXX描述当天经过的纳秒值
long(X)描述当天经过的纳秒值
类型为非空null时才会输出

该类型可以使用TIME(p)声明，其中p是秒后面小数的位数(精度)。P必须有一个介于0和9之间的值(包括两者)。如果没有指定精度，p等于0。

3.5.3. TIMESTAMP

无时区的时间戳数据类型，由年-月-日 时:分:秒[.小数]组成，精度可达纳秒，值范围从0000-01-01 00:00:00.000000000到9999-12-31 23:59:59.99999999999。

SQL/Java/Scala

与SQL标准相比，该类型不支持闰秒(23:59:60和23:59:61)，因为该类型语义更接近java.time.LocalDateTime。

不支持从BIGINT (JVM long类型)转化为该类型，也不支持从该类型转换到BIGINT (JVM long类型)，因为这种转换需要时区，但是该类型是不受时区限制的。
如果需要使用到时区，则可以使用TIMESTAMP_LTZ类型。

SQL

TIMESTAMP
TIMESTAMP(p)

TIMESTAMP WITHOUT TIME ZONE
TIMESTAMP(p) WITHOUT TIME ZONE

java/scala

DataTypes.TIMESTAMP(p);

桥接到JVM数据类型

Java 类型InputOutputOutput
java.time.LocalDateTimeXX默认
java.sql.TimestampXX
org.apache.flink.table.data.TimestampDataXX内部数据结构

该类型可以使用TIMESTAMP(p)声明，其中p是秒后面小数(精度)的位数。P必须是一个介于0和9之间的值(包括两者)。如果没有指定精度，则p等于6。

TIMESTAMP(p) WITHOUT TIME ZONE也表示该类型。

3.5.4. TIMESTAMP WITH TIME ZONE

有时区的时间戳的数据类型，由年-月-日 时:分:秒[.分数]组成，精确度可达纳秒，值范围为0000-01-01 00:00:00.000000000 +14:59
到9999-12-31 23:59:59.999999999 -14:59。

与TIMESTAMP_LTZ相比，时区偏移信息物理地存储在每个数据中。它被单独用于每一个计算、可视化以及与外部系统通信。

SQL

TIMESTAMP WITH TIME ZONE
TIMESTAMP(p) WITH TIME ZONE

java/scala

DataTypes.TIMESTAMP_WITH_TIME_ZONE(p);

桥接到JVM数据类型

Java 类型InputOutputOutput
java.time.OffsetDateTimeXX默认
java.time.ZonedDateTimeX忽略时区ID

3.5.5. TIMESTAMP_LTZ

使用本地时区的时间戳数据类型，由年-月-日 时:分:秒[.分数]组成，精度可达纳秒，值范围为0000-01-01 00:00:00.000000000 +14:59
到9999-12-31 23:59:59.999999999 -14:59。

该类型允许根据配置的会话时区解释UTC时间戳来填补自由时区和强制时区时间戳类型之间的空白。

SQL

TIMESTAMP_LTZ
TIMESTAMP_LTZ(p)

TIMESTAMP WITH LOCAL TIME ZONE
TIMESTAMP(p) WITH LOCAL TIME ZONE

java/scala

DataTypes.TIMESTAMP_LTZ(p);
DataTypes.TIMESTAMP_WITH_LOCAL_TIME_ZONE(p);

桥接到JVM数据类型

Java 类型InputOutputOutput
java.time.InstantXX默认
java.lang.IntegerXX描述从纪元开始经过的秒数
intX(X)描述从纪元开始经过的秒数
类型为非空null时才会输出
java.lang.LongXX描述从纪元开始经过的毫秒数
longX(X)描述从纪元开始经过的毫秒数
类型为非空null时才会输出
java.sql.TimestampXX描述从纪元开始经过的毫秒数
org.apache.flink.table.data.TimestampDataXX内部数据结构

可以使用TIMESTAMP_LTZ(p)声明该类型，其中p是秒后面小数(精度)的位数。P必须是一个介于0和9之间的值(包括两者)。如果没有指定精度，则p等于6。

TIMESTAMP(p) WITH LOCAL TIME ZONE是该类型的同义词。

3.5.6. INTERVAL YEAR TO MONTH

一组年-月间隔类型的数据类型。

该类型必须参数化为以下解析之一：

  • interval of years
  • interval of years to months
  • interval of months

年-月的间隔由 +year-momth 组成，取值范围为-9999-11 ~ +9999-11。

比如，50个月的间隔以年到月的间隔格式表示为(使用默认的年精度):+04-02。

SQL

INTERVAL YEAR
INTERVAL YEAR(p)
INTERVAL YEAR(p) TO MONTH
INTERVAL MONTH

java/scala

DataTypes.INTERVAL(DataTypes.YEAR());
DataTypes.INTERVAL(DataTypes.YEAR(p));
DataTypes.INTERVAL(DataTypes.YEAR(p),DataTypes.MONTH());
DataTypes.INTERVAL(DataTypes.MONTH());

桥接到JVM数据类型

Java 类型InputOutputOutput
java.time.PeriodXX忽略天的部分，默认
java.lang.IntegerXX描述经过的月数
intX(X)描述经过的月数
类型为非空null时才会输出

可以使用上面的组合声明类型，其中p是年份的位数(年份精度)。P的值必须在1和4之间(包括两者)。如果没有指定年份精度，则p等于2。

3.5.7. INTERVAL DAY TO SECOND

一组日间隔类型的数据类型。

该类型必须参数化为以下解析之一，精度可达纳秒：

  • interval of days
  • interval of days to hours
  • interval of days to minutes
  • interval of days to seconds
  • interval of hours
  • interval of hours to minutes
  • interval of hours to seconds
  • interval of minutes
  • interval of minutes to seconds
  • interval of seconds

day-time的间隔由 +天 时:分:秒.小数组成，取值范围为-999999 23:59:59.999999999到+999999 23:59:59.999999999。
例如，70秒的间隔以天到秒的间隔格式表示(具有默认精度):+00 00:01:10 000000。

SQL

INTERVAL DAY
INTERVAL DAY(p1)
INTERVAL DAY(p1) TO HOUR
INTERVAL DAY(p1) TO MINUTE
INTERVAL DAY(p1) TO SECOND(p2)
INTERVAL HOUR
INTERVAL HOUR TO MINUTE
INTERVAL HOUR TO SECOND(p2)
INTERVAL MINUTE
INTERVAL MINUTE TO SECOND(p2)
INTERVAL SECOND
INTERVAL SECOND(p2)

java/scala

DataTypes.INTERVAL(DataTypes.DAY());
DataTypes.INTERVAL(DataTypes.DAY(p1));
DataTypes.INTERVAL(DataTypes.DAY(p1),DataTypes.HOUR());
DataTypes.INTERVAL(DataTypes.DAY(p1),DataTypes.MINUTE());
DataTypes.INTERVAL(DataTypes.DAY(p1),DataTypes.SECOND(p2));
DataTypes.INTERVAL(DataTypes.HOUR());
DataTypes.INTERVAL(DataTypes.HOUR(),DataTypes.MINUTE());
DataTypes.INTERVAL(DataTypes.HOUR(),DataTypes.SECOND(p2));
DataTypes.INTERVAL(DataTypes.MINUTE());
DataTypes.INTERVAL(DataTypes.MINUTE(),DataTypes.SECOND(p2));
DataTypes.INTERVAL(DataTypes.SECOND());
DataTypes.INTERVAL(DataTypes.SECOND(p2));

桥接到JVM数据类型

Java 类型InputOutputOutput
java.time.DurationXX默认
java.lang.LongXX描述毫秒值
longX(X)描述毫秒值
类型为非空null时才会输出

可以使用上面的组合声明该类型，其中p1是天数(天数精度)，p2是小数秒(小数精度)。P1的值必须在1到6之间(包括1和6)。P2的值必须在0到9之间(包括两者)。
如果没有指定p1，默认值为2。如果没有指定p2，默认值为6。

3.6. Constructed结构数据类型

3.6.1. ARRAY

具有相同子类型元素的数组。

与SQL标准相比，不能指定数组的最大基数，而是固定在2,147,483,647。此外，支持任何有效类型作为子类型。

SQL

ARRAY<t>
t ARRAY

java/scala

DataTypes.ARRAY(t);

桥接到JVM数据类型

Java 类型InputOutputOutput
t[](X)(X)由子类型决定，默认
java.util.List<t> XX
java.util.List<t> 的子类X
org.apache.flink.table.data.ArrayDataXX内部数据结构

该类型可以使用ARRAY<t>声明，其中t是所包含元素的数据类型。

t ARRAY是接近SQL标准的同义词。例如，INT ARRAY等价于ARRAY<INT>。

3.6.2. MAP

关联数组的数据类型，将键(包括NULL)映射到值(包括NULL)。map不能包含重复的键；每个键最多只能映射到一个值。

元素类型没有限制，需要用户确保数据key的唯一性。

map类型是对SQL标准的扩展。

SQL

MAP<kt, vt>

java/scala

DataTypes.MAP(kt,vt);

其中的kt和vt都是DataType类型。

桥接到JVM数据类型

Java 类型InputOutputOutput
java.util.Map<kt, vt>XX默认
java.util.Map<kt, vt>X
org.apache.flink.table.data.MapDataXX内部数据类型

该类型可以使用MAP<kt, vt>声明，其中kt是key元素的数据类型，vt是value元素的数据类型。

3.6.3. MULTISET

multiset(=bag)数据类型。与map不同，它允许集合中的每个元素存在多个实例。每个唯一的值(包括NULL)可以保存多个。

元素类型没有限制，需要用户确保唯一性。

SQL

MULTISET<t>
t MULTISET

java/scala

DataTypes.MULTISET(t);

桥接到JVM数据类型

Java 类型InputOutputOutput
java.util.Map<t, java.lang.Integer>XX默认，给每个值分配其对应个数
java.util.Map<t, java.lang.Integer>子类X
org.apache.flink.table.data.MapDataXX内部数据类型

该类型可以使用MULTISET<t>声明，其中t是所包含元素的数据类型。

MULTISET是接近SQL标准的同义词。例如，INT MULTISET等价于MULTISET<INT>。

3.6.4. ROW

字段序列的数据类型。

字段由字段名、字段类型和可选描述组成。表中数据最特殊的类型就是 row 类型，每列中 row 类型字段中的所有属性位置都和列中的位置一一对应。

与SQL标准相比，可选的字段描述简化了复杂结构的处理。

行类型类似于其他非标准兼容框架中的STRUCT类型。

SQL

ROW<n0 t0, n1 t1, ...>
ROW<n0 t0 'd0', n1 t1 'd1', ...>

ROW(n0 t0, n1 t1, ...)
ROW(n0 t0 'd0', n1 t1 'd1', ...)

java/scala

DataTypes.ROW(DataTypes.FIELD(n0,t0),DataTypes.FIELD(n1,t1),...);
        DataTypes.ROW(DataTypes.FIELD(n0,t0,d0),DataTypes.FIELD(n1,t1,d1),...);

n0为字段名称，t0为字段类型，d0为字段描述。

桥接到JVM数据类型

Java 类型InputOutputOutput
org.apache.flink.types.RowXX默认
org.apache.flink.table.data.RowDataXX内部数据结构

可以使用ROW<n0 t0 'd0'， n1 t1 'd1'，…>声明该类型，其中n是字段的唯一名称，t是字段的逻辑类型，d是字段的描述。

ROW(…)是接近SQL标准的同义词。例如，ROW(myField INT, myOtherField BOOLEAN)等价于ROW<myField INT, myOtherField BOOLEAN>。

3.7. 用户自定义数据类型

目前还不完全支持用户自定义的数据类型。它们目前(从Flink 1.11开始)只在参数和函数返回类型中作为未注册的结构类型。

结构化类型类似于面向对象编程语言中的对象。它包含零个、一个或多个属性。每个属性由名称和类型组成。

有两种结构化类型:

  • 存储在catalog中并由catalog标识符标识的类型(如cat.db.MyType)。这些等同于结构化类型的SQL标准定义。
  • 匿名定义、未注册的类型(通常通过反射提取)，由其实现类(如com.myorg.model.MyType)标识。这些类型在以编程方式定义表程序中很有用。它们允许重用现有的JVM类，而无需再次手动定义数据类型的模式。

注册的结构化类型

目前还不支持注册结构化类型。因此，它们不能存储在catalog中，也不能在CREATE TABLE DDL中引用。

未注册的结构化类型

可以使用自动反射提取从常规pojo(普通Java对象)创建未注册的结构化类型。

结构化类型的实现类必须满足以下要求:

  • 类必须是全局可访问的，这意味着它必须声明为public、static，而不是abstract。
  • 类必须提供一个零参数的默认构造函数或一个赋值所有字段的完整参数的构造函数。
  • 类的所有字段必须可以通过public声明或遵循公共编码风格的getter(如getField()， isField()， field())方法读取。
  • 类的所有字段必须由public声明、有完整参数的构造函数或遵循公共编码风格的setter(如setField(…)、field(…))方法写入。
  • 所有字段必须可以通过隐式地反射提取或使用@DataTypeHint注释显式地映射到数据类型。
  • 声明为static或transient的字段将被忽略。

反射提取支持字段的任意嵌套，只要字段类型不传递性地引用自身。

声明的字段类行(例如public int age)必须在受支持的JVM桥接类列表中，例如int 为：java.lang.Integer或int。

对于某些类，需要一个注释来将类映射到具体的数据类型(例如@DataTypeHint("DECIMAL(10,2)")来为java.math.BigDecimal指定固定的精度和比例)。

JAVA

class User {
    // 自动抽取数据类型
    public int age;
    public String name;
    //通过注解丰富其精度信息
    public @DataTypeHint("DECIMAL(10, 2)")
    BigDecimal totalBalance;
    //强制使用RAW类型丰富提取
    public @DataTypeHint("RAW")
    Class<?> modelClass;
}
DataTypes.of(User.class);

scala

case class User(

    // 自动抽取数据类型
    age: Int,
    name: String,

    //通过注解丰富其精度信息
    @DataTypeHint("DECIMAL(10, 2)") totalBalance: java.math.BigDecimal,

    //强制使用RAW类型丰富提取
    @DataTypeHint("RAW") modelClass: Class[_]
)

DataTypes.of(classOf[User])

桥接到JVM数据类型

Java 类型InputOutputOutput
classXX输入：该类或其子类。输出：子类。
默认
org.apache.flink.types.RowXX代表row类型的结构体
org.apache.flink.table.data.RowDataXX内部数据类型

3.8. 其他数据类型

3.8.1. BOOLEAN

布尔数据类型，值为：TRUE、FALSE或UNKNOWN。

SQL

BOOLEAN

java/scala

DataTypes.BOOLEAN();

桥接到JVM数据类型

Java 类型InputOutputOutput
java.lang.BooleanXX默认
booleanX(X)类型为非空null时才会输出

3.8.2. RAW

任意序列化类型的数据类型。这种类型是表生态系统中的黑盒，仅在边缘处进行反序列化。

该类型是对SQL标准的扩展。

SQL

RAW('class', 'snapshot')

java/scala

DataTypes.RAW(class,serializer);
DataTypes.RAW(class);

桥接到JVM数据类型

Java 类型InputOutputOutput
classXX默认。输入：原始类或子类。输出：子类
byte[]X
org.apache.flink.table.data.RawValueDataXX内部数据结构

SQL/Java/Scala

该类型可以使用RAW('class', 'snapshot')声明，其中class是原始类，snapshot是Base64编码的序列化的TypeSerializerSnapshot。
通常，类型字符串不是直接声明的，而是在持久化类型时生成的。

在API中，RAW类型可以通过直接提供Class + TypeSerializer或者通过传递Class并让框架从中提取Class + TypeSerializer来声明。

3.8.3. NULL

表示非类型NULL值的数据类型。

NULL类型是对SQL标准的扩展。NULL类型除了null以外没有其他值，因此，它可以被强制转换为任何可为空的类型，类似于JVM语义。

这种类型有助于在API调用中表示未知类型，这些调用使用NULL字面量，并桥接到JSON或Avro等格式，这些格式也定义了这种类型。

这种类型在实践中不是很有用，这里只是为了完整性而提到它。

SQL

NULL

java/scala

DataTypes.NULL();

桥接到JVM数据类型

Java 类型InputOutputOutput
java.lang.ObjectXX默认
任何类(X)任何非原始类型

4. 数据类型提取

在API中，Flink会尝试使用反射从类信息中自动提取数据类型，以避免重复的手动指定工作。但是，反射式提取数据类型并不总是成功的，因为可能缺少逻辑信息。
因此，可能需要在类或字段声明附近添加额外的信息，以支持提取逻辑。

下表列出了可以隐式映射到数据类型而不需要进一步添加额外信息的类。

如果你想使用Scala类，建议使用装箱类型(例如java.lang.Integer)，而不是Scala的原生类。
Scala的原生类(例如Int或Double)被编译为JVM原生类(例如Int / Double)，结果如下表所示，增加NOT NULL语义。

此外，Scala原生类的泛型(例如java.util.Map[Int, Double])在编译过程中会被擦除，最后结果类似于：java.util.Map[java.lang.Object, java.lang.Object]。

Class数据类型
java.lang.StringSTRING
java.lang.BooleanBOOLEAN
booleanBOOLEAN NOT NULL
java.lang.ByteTINYINT
byteTINYINT NOT NULL
java.lang.ShortSMALLINT
shortSMALLINT NOT NULL
java.lang.IntegerINT
intINT NOT NULL
java.lang.LongBIGINT
longBIGINT NOT NULL
java.lang.FloatFLOAT
java.lang.FloatFLOAT
floatFLOAT NOT NULL
java.lang.DoubleDOUBLE
doubleDOUBLE NOT NULL
java.sql.DateDATE
java.time.LocalDateDATE
java.sql.TimeTIME(0)
java.time.LocalTimeTIME(9)
java.sql.TimestampTIMESTAMP(9)
java.time.LocalDateTimeTIMESTAMP(9)
java.time.OffsetDateTimeTIMESTAMP(9) WITH TIME ZONE
java.time.InstantTIMESTAMP_LTZ(9)
java.time.DurationINTERVAL SECOND(9)
java.time.PeriodINTERVAL YEAR(4) TO MONTH
byte[]BYTES
T[]ARRAY<T>
java.util.Map<K, V>MAP<K, V>
structured type T匿名 structured type T

本章节中提到的其他JVM桥接类需要 @DataTypeHint 注解。

数据类型提示可以参数化或替换单个函数参数和返回类型、结构化类或结构化类的字段的默认提取逻辑。开发者可以通过声明 @DataTypeHint 注解来选择应该在多大程度上修改默认提取逻辑。

@DataTypeHint 注解提供了一组可选的提示参数。下面的示例显示了其中一些参数。更多信息可以在注解类的文档中找到。

java

import org.apache.flink.table.annotation.DataTypeHint;

class User {
    //将java.lang.Integer类转化为 INT 数据类型
    public @DataTypeHint("INT")
    Object o1;
    // 使用显式转换类定义毫秒精度的TIMESTAMP数据类型
    public @DataTypeHint(value = "TIMESTAMP(3)", bridgedTo = java.sql.Timestamp.class)
    Object o2;
    //强制使用RAW类型来丰富类型提取
    public @DataTypeHint("RAW")
    Class<?> modelClass;
    // 定义所有出现的java.math.BigDecimal(也包括嵌套字段)将被提取为DECIMAL(12, 2)
    public @DataTypeHint(defaultDecimalPrecision = 12, defaultDecimalScale = 2)
    AccountStatement stmt;
    // 定义每当类型不能映射到数据类型时，不要抛出异常，而应始终将其视为RAW类型
    public @DataTypeHint(allowRawGlobally = HintFlag.TRUE)
    ComplexModel model;
}

scala

import org.apache.flink.table.annotation.DataTypeHint

class User {

    //将java.lang.Integer类转化为 INT 数据类型
    @DataTypeHint("INT")
    var o: AnyRef

    // 使用显式转换类定义毫秒精度的TIMESTAMP数据类型
    @DataTypeHint(value = "TIMESTAMP(3)", bridgedTo = java.sql.Timestamp.class)
    var o: AnyRef

    //强制使用RAW类型来丰富类型提取
    @DataTypeHint("RAW")
    var modelClass: Class[_]

    // 定义所有出现的java.math.BigDecimal(也包括嵌套字段)将被提取为DECIMAL(12, 2)
    @DataTypeHint(defaultDecimalPrecision = 12, defaultDecimalScale = 2)
    var stmt: AccountStatement

    // 定义每当类型不能映射到数据类型时，不要抛出异常，而应始终将其视为RAW类型
    @DataTypeHint(allowRawGlobally = HintFlag.TRUE)
    var model: ComplexModel
}
第一片心意
关注
专栏目录
FlinkSQL对应的数据类型
someInNeed的博客
02-21 1729
DECIMAL、DECIMAL(p)、DECIMAL(p, s)、DEC、DEC(p)、DEC(p, s)、NUMERIC、NUMERIC(p)、NUMERIC(p, s)：固定长度和精度的数值类型，就和 Java 中的 BigDecima一样，p 代表数值位数(长度)，取值范围 [1, 38];BIGINT：-9,223,372,036,854,775,808 to 9,223,372,036,854,775,807 的 8 字节大小的有符号整数，就和 Java 中的 long 一样。
Flink SQL 中常见的数据类型
RodJohnsonDoctor的专栏
09-03 437
通过了解Flink SQL 中常见的数据类型，掌握正确编写Flink SQL 语句
FLINK SQL数据类型
最新发布
王小工小工历程
10-10 1415
Flink SQL也支持用户自定义数据类型，用户可以根据自己的需求定义复杂的数据结构，并通过实现相应的接口或类来注册这些自定义类型。1、定义与用途用户自定义数据类型通常用于处理那些无法直接通过Flink内置数据类型表示的数据。例如，当需要处理一个包含多个字段的复杂数据结构时，就可以定义一个包含这些字段的用户自定义数据类型。2、实现方式定义数据类型：首先，需要定义一个Java或Scala类来表示用户自定义数据类型。
flink-sql所有数据类型-1.15
第一片心意的博客
11-05 3958
本文是对 flink 1.15 官网中 flink sql 数据类型部分的翻译整理。
Flink的数据类型
sijiwang95的博客
04-11 950
timestamp_ltz #带时区，推荐使用，ltz：local time zone。早先Flink版本使用时间戳类型。集合类型，FlinkSQL中名字叫MULTISET，类似于Java的List。数组类型，FlinkSQL中名字叫ARRAY，类似于Java的array。对象类型，FlinkSQL中名字叫ROW，类似于Java的Object。Map类型，FlinkSQL中名字叫Map，类似于Java的Map。#4.boolean类型。
[Flink]一、Flink1.13
weixin_44428807的博客
07-01 1055
1. Flink简介1.1 Flink的起源和设计理念flink项目的核心目标：数据流上的有状态计算（Stateful Computations over Data Streams)。时间驱动：来一个事件处理一个事件；流处理的流水线；流&批数据分析具体定位是：Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink 被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。1.2 Flink的应用。
flink-sql所有语法详解
热门推荐
begefefsef的博客
09-09 1万+
SET语句用于修改配置或列出配置。RESET语句用于将配置重置为默认值。CREATE语句用于将表/视图/函数注册到当前或指定的 Catalog 中。已注册的表/视图/函数可以在SQL查询中使用。NSERT语句用于向表中添加行数据。USE语句用于设置当前数据库或catalog，或更改模块的解析顺序和启用状态。select语句主要是从表中查询数据，然后将数据插入到其他表中。直接在页面中查看select的结果，目前平台还不支持。单个反斜杠就可以作为转义字符使用，在select查询中可以直接使用。
深入解读 Flink SQL 1.13
阿里云技术
07-01 214
本文由社区志愿者陈政羽整理，Apache Flink 社区在 5 月份发布了 1.13 版本，带来了很多新的变化。文章整理自徐榜江(雪尽) 5 月 22 日在北京的 Flink Meetup 分享的《深入解读 Flink SQL 1.13》，内容包括： Flink SQL 1.13 概览核心 feature 解读重要改进解读Flink SQL 1.14 未来规划总结 一、Flink SQL 1.13 概览 Flink 1.13 是一个社区大版本，解决的 issue 在 1000 个以上，通过上图我们
大数据开发-Flink-1.13新特性
Hoult丶吴邪
05-22 778
介绍 大概4月，Flink1.13就发布了，参加 了Flink1.13 的Meetup，收获还是挺多，从大的方面讲就是FlingSql的改进和优化，资源调度管理方面的优化，以及流批一体Flink在运行时与DataStream API的优化，另外就是State backend 模块的优化，本篇文章既是当时做的笔记，又是在后续查阅官网等做的补充, Flink 的一个主要目标取得了重要进展，即让流处理应用的使用像普通应用一样简单和自然。Flink 1.13 新引入的被动扩缩容使得流作业的扩缩容和其它应用一样简单，
大数据Flink（六十九）：SQL 数据类型
Lansonli（蓝深李）的博客
08-29 419
DECIMAL、DECIMAL(p)、DECIMAL(p, s)、DEC、DEC(p)、DEC(p, s)、NUMERIC、NUMERIC(p)、NUMERIC(p, s)：固定长度和精度的数值类型，就和 Java 中的 BigDecimal 一样，p 代表数值位数（长度），取值范围 [1, 38]；BIGINT：-9,223,372,036,854,775,808 to 9,223,372,036,854,775,807 的 8 字节大小的有符号整数，就和 Java 中的 long 一样。
Flink-数据类型
不离不弃的博客
07-01 1722
描述 Flink支持非常完善的数据类型，数据类型的描述信息都是由TypeInformation定义。TypeInformation主要作用是为了再Flink系统内有效的对数据结构类型进行管理，能够在分布式计算过程中对数据的数据类型进行管理和推断。同时基于对数据的类型信息管理，Flink内部对数据存储也进行了响应的性能优化。 1. 原生数据类型 1.java原生基本类型（装箱）或String类型 2...
Flink 数据类型
Claroja
12-12 305
Flink使用类型信息的概念来表示数据类型，并为每个数据类型生成特定的序列化器、反序列化器和比较器。但是，在某些情况下，例如lambda函数或泛型类型，需要显式地提供类型信息，才能使应用程序正常工作或提高其性能。 1.Java基础类型 Int, Double, Long, String, … 2.Java元组（Tuples） 3.Java简单对象（POJOs） public class Person { public String name; public int age; public Person(
一、Flink数据类型
大JAVA解决方案
12-09 615
- 1.原生数据类型 * Flink通过实现BasicTypeInfo数据类型，能够支持任意Java原生基本类型(装箱)或String类型，例如Integer、String、Double等 DataSource<Integer> inputStream= environment.fromElements(1, 2, 3, 4, 5, 6); DataSource&...
1.Flink数据类型
流月up的博客
04-26 673
flink数据类型
flink 数据类型解析
iMonster
01-02 675
flink 数据类型解析 1.原生数据类型 2.Tuples类型 3.Cass Class类型 4.POJOs类型 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PASSaVvL-1577933714146)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1571106371...
Flink之数据类型详解
lixinkuan的博客
06-21 6814
一、数据类型支持 Flink支持非常完善的数据类型，数据类型的描述信息都是由TypeInformation定义，比较常用的TypeInformation有BasicTypeInfo、TupleTypeInfo、CaseClassTypeInfo、PojoTypeInfo类等。TypeInformation主要作用是为了在Flink系统内有效地对数据结构类型进行管理，能够在分布式计算过程中对数据的类型进行管理和推断。同时基于对数据的类型信息管理，Flink内部对数据存储也进行了相应的性能优化。 Flink
Flink之数据流类型
SmallCatBaby的博客
04-30 1254
Flink为流处理和批处理分别提供了DataStream API和DataSet API。在开发工作中这些API极大的便利了开发者开发大数据应用。DataStream 在经过Transformation之后，会随之生成相应的数据流类型。比如：KeyedStream，JoinedStreams，CoGroupedStreams等等。但这些数据流类型之间是如何...
flink支持数据类型
song_quan_的博客
11-03 860
Flink 流应用程序处理的是以数据对象表示的事件流。所以在 Flink 内部，我们 需要能够处理这些对象。它们需要被序列化和反序列化，以便通过网络传送它们； 或者从状态后端、检查点和保存点读取它们。为了有效地做到这一点，Flink 需要明 确知道应用程序所处理的数据类型。Flink 使用类型信息的概念来表示数据类型，并 为每个数据类型生成特定的序列化器、反序列化器和比较器。 Flink 还具有一个类型提取系统，该系统分析函数的输入和返回类型，以自动获 取类型信息，从而获得序列化器和
flink-sql-connector 和flink-connector 区别
05-17
Flink-SQL-Connector 和 Flink-Connector 都是 Apache Flink 的连接器，但它们的主要区别在于用途和功能。 Flink-SQL-Connector 是为了支持 Flink SQL 而开发的一组连接器，它们包括 JDBC、Elasticsearch、Kafka、HBase、JMS、Cassandra、Hive 和 MySQL 等。这些连接器可以将 Flink SQL 的查询结果发送到特定的数据源中，或从特定的数据源中读取数据并用于 Flink SQL 查询。因此，Flink-SQL-Connector 的主要用途是支持 Flink SQL 查询操作。 Flink-Connector 则是一个更通用的连接器框架，它提供了一种通用的方式来与外部系统进行交互，例如读写文件、消息队列、数据库、NoSQL 数据库、流处理引擎等。Flink-Connector 提供了一组接口和类来支持开发者编写自定义的连接器，以便与其他系统集成。因此，Flink-Connector 的主要用途是支持 Flink 与其他系统的交互操作，而不仅仅是支持 Flink SQL 查询操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

第一片心意

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值