Apache Flink:Table API和SQL发展现状概述

Flink Table API

  Apache Flink对SQL的支持可以追溯到一年前发布的0.9.0-milestone1版本。此版本通过引入Table API来提供类似于SQL查询的功能,此功能可以操作分布式的数据集,并且可以自由地和Flink其他API进行组合。Tables在发布之初就支持静态的以及流式数据(也就是提供了DataSet和DataStream相关APIs)。我们可以将DataSet或DataStream转成Table;同时也可以将Table转换成DataSet或DataStream,正如下面的例子所展示的:

/**

 * User: 过往记忆

 * Date: 2016年6月16日

 * Time: 下午23:16

 * bolg: https://www.iteblog.com

 * 本文地址:https://www.iteblog.com/archives/1691

 * 过往记忆博客,专注于hadoop、hive、spark、shark、flume的技术博客,大量的干货

 * 过往记忆博客微信公共帐号:iteblog_hadoop

 */

val execEnv = ExecutionEnvironment.getExecutionEnvironment

val tableEnv = TableEnvironment.getTableEnvironment(execEnv)

 

// obtain a DataSet from somewhere

val tempData: DataSet[(String, Long, Double)] =

 

// convert the DataSet to a Table

val tempTable: Table = tempData.toTable(tableEnv, 'location, 'time, 'tempF)

// compute your result

val avgTempCTable: Table = tempTable

 .where('location.like("room%"))

 .select(

   ('time / (3600 * 24)) as 'day,

   'Location as 'room,

   (('tempF - 32) * 0.556) as 'tempC

  )

 .groupBy('day, 'room)

 .select('day, 'room, 'tempC.avg as 'avgTempC)

// convert result Table back into a DataSet and print it

avgTempCTable.toDataSet[Row].print()

上面的例子是通过Scala语言展示的,不过我们也可以在Java中使用Table API。

本文由 过往记忆 大数据技术博客(https://www.iteblog.com)编写整理,转载必须注明出处。欢迎关注微信公共帐号:iteblog_hadoop了解最新的大数据资讯。

为什么需要引入SQL

  大家可以看出,虽然Table API提供了类似于SQL的功能来操作分布式的数据,但是其有以下几点问题:

  1、Table API不能独立使用。Table API必须包含在DataSet或DataStream的程序中。
  2、对于批处理表(batch Tables)的查询并不支持外连接(outer joins)、排序以及其他很多在SQL查询中经常会使用到的标量函数(scalar functions);
  3、在流数据表(streaming tables)上的查询只支持fiter、union以及projections操作,并不支持aggregations或者joins操作。
  4、Table查询语句的翻译(应该是翻译成逻辑计划)并没用使用到查询优化技术,只有在物理计划的时候会有相应的优化,因为物理优化会应用到所有的DataSet程序。
  5、在程序中使用Table API远没有直接使用SQL来的方面。

  针对以上的各种缺陷,在Apache Flink中引入SQL的支持势在必行。Flink 0.9引入的Table API、关系表达式的代码生成以及运行操作符(runtime operators)等技术都为SQL的引入奠定了基础。那为什么最初Flink社区没有选择先开发出一套新的SQL-on-Hadoop解决方案呢?那是因为社区认为在整个Hadoop生态环境下已经存在了大量的SQL-on-Hadoop解决方案;比如Apache Hive, Apache Drill, Apache Impala, Apache Tajo等等,所以集中精力提升Flink的其他方面的性能更重要。

  但是随着流处理系统在业界的广泛使用以及Flink受到的关注越来越多,Flink社区最终决定很有必要为用户提供一个简单的SQL接口来操作分布式数据。于是在半年前,Flink开始着手于扩展Table API使得用户可以直接在流数据(当然静态的数据更可以使用)上使用SQL。Flink开始使用Apache Calcite来为用户提供SQL功能,并基于Apache Calcite重新设计Table API的架构。Apache Calcite是一个流行的SQL解析和优化框架,并且被许多项目使用,包括Apache Hive, Apache Drill, Cascading、Apache Kylin、Apache Storm等等;而且Apache Calcite社区将SQL on streams作为他们的未来规划,尤其适合Flink的SQL接口。

  SQL的支持将在Flink 1.1.0版本正式发布。因为刚刚开始引入,所以最初版本SQL只支持在流数据上进行select、filter、union等操作;和 Flink 1.0.0相比,Table API将支持更多的scalar functions,支持从外部数据源读取数据并且支持写入到外部数据源。

  在Flink 1.2.0版本,SQL的将会支持更多的特性。比如支持各种类型的window aggregates以及Streaming join。当然,这些开发是和Apache Calcite社区共同合作的结果。

如何在程序中使用SQL

  在Flink程序中使用SQL查询只需要使用TableEnvironmentsql()方法。这个方法将会返回SQL查询的结果,结果的类型是Table,我们可以将它转换成DataSet或者DataStream、或者使用Table API操作它、或者将他写入到TableSink中。SQL和Table的查询API可以无缝地进行整合。

  任何的Table, DataSet, DataStream或者TableSource都需要通过TableEnvironment进行注册,使得可以在其之上使用SQL查询。

SQL on Batch Tables

下面是介绍如何在Batch Tables上使用SQL的例子:

/**

 * User: 过往记忆

 * Date: 2016年6月16日

 * Time: 下午23:16

 * bolg: https://www.iteblog.com

 * 本文地址:https://www.iteblog.com/archives/1691

 * 过往记忆博客,专注于hadoop、hive、spark、shark、flume的技术博客,大量的干货

 * 过往记忆博客微信公共帐号:iteblog_hadoop

 */

val env = ExecutionEnvironment.getExecutionEnvironment

val tableEnv = TableEnvironment.getTableEnvironment(env)

 

// read a DataSet from an external source

val ds: DataSet[(Long, String, Integer)] = env.readCsvFile(...)

// register the DataSet under the name "Orders"

tableEnv.registerDataSet("Orders", ds, 'user, 'product, 'amount)

// run a SQL query on the Table and retrieve the result as a new Table

val result = tableEnv.sql(

  "SELECT SUM(amount) FROM Orders WHERE product LIKE '%Rubber%'")

目前Batch Tables只支持select、filter、projection, inner equi-joins, grouping, non-distinct aggregates以及sorting。

下面特性目前在Batch Tables不支持
  1、时间类型(DATE, TIME, TIMESTAMP, INTERVAL)以及DECIMAL类型
  2、Distinct aggregates (比如:COUNT(DISTINCT name))
  3、非等值Join以及笛卡儿乘积;
  4、通过order里面的位置选择结果 (ORDER BY OFFSET FETCH)
  5、Grouping sets
  6、INTERSECT以及EXCEPT集合操作。

SQL on Streaming Tables

  SQL查询可以扩展到 Streaming Tables上,我们只需要将SELECT关键字用SELECT STREAM 替换即可。下面是使用示例:

/**

 * User: 过往记忆

 * Date: 2016年6月16日

 * Time: 下午23:16

 * bolg: https://www.iteblog.com

 * 本文地址:https://www.iteblog.com/archives/1691

 * 过往记忆博客,专注于hadoop、hive、spark、shark、flume的技术博客,大量的干货

 * 过往记忆博客微信公共帐号:iteblog_hadoop

 */

val env = StreamExecutionEnvironment.getExecutionEnvironment

val tEnv = TableEnvironment.getTableEnvironment(env)

 

// read a DataStream from an external source

val ds: DataStream[(Long, String, Integer)] = env.addSource(...)

// register the DataStream under the name "Orders"

tableEnv.registerDataStream("Orders", ds, 'user, 'product, 'amount)

// run a SQL query on the Table and retrieve the result as a new Table

val result = tableEnv.sql(

  "SELECT STREAM product, amount FROM Orders WHERE product LIKE '%Rubber%'")

目前在Streaming Tables上执行SQL只支持SELECT, FROM, WHERE以及UNION; Aggregations和joins暂时不支持。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值