Flink sql入门篇-概念、初步实现

最新推荐文章于 2024-03-11 23:43:50 发布
最新推荐文章于 2024-03-11 23:43:50 发布
阅读量5.3k 收藏 28
点赞数 4
分类专栏： flink专栏。 大数据专栏。 文章标签： spark big data 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/l_dsj/article/details/121582061
版权

目录

Flinksql入门前的概念

想要搞清楚flink如何使用sql进行处理，我们首先要搞清楚动态表的概念，我们可以先进入flink官网查看，hive中的表是静态的，而这里处理的数据是流式，处理的表是动态的

在这里插入图片描述

物化视图

在这里插入图片描述

尽管存在这些差异，但是使用关系查询和 SQL 处理流并不是不可能的。高级关系数据库系统提供了一个称为 物化视图(Materialized Views) 的特性。物化视图被定义为一条 SQL 查询，就像常规的虚拟视图一样。与虚拟视图相反，物化视图缓存查询的结果，因此在访问视图时不需要对查询进行计算。缓存的一个常见难题是防止缓存为过期的结果提供服务。当其定义查询的基表被修改时，物化视图将过期。 即时视图维护(Eager View Maintenance) 是一种一旦更新了物化视图的基表就立即更新视图的技术。
原表只要有更新，物化视图中的数据也会有更新

动态表和连续查询

动态表 是 Flink 的支持流数据的 Table API 和 SQL 的核心概念。与表示批处理数据的静态表不同，动态表是随时间变化的。可以像查询静态批处理表一样查询它们。查询动态表将生成一个 连续查询 。一个连续查询永远不会终止，结果会生成一个动态表。查询不断更新其(动态)结果表，以反映其(动态)输入表上的更改。本质上，动态表上的连续查询非常类似于定义物化视图的查询。
动态表首先是一个逻辑概念。在查询执行期间不一定(完全)物化动态表
需要注意的是，连续查询的结果在语义上总是等价于以批处理模式在输入表快照上执行的相同查询的结果。

在动态表上做的查询叫做连续查询，这个查询不会结束，会一直出结果，输出的也是一张动态表；所以flinksql在流和流之间做了sql的api，先在流上做一个动态表，在动态表上做连续查询，再转化成动态表，再转换成流；中间的过程通过SQL实现
在这里插入图片描述

在流上定义表

为了使用关系查询处理流，必须将其转换成 Table。从概念上讲，流的每条记录都被解释为对结果表的 INSERT 操作。本质上我们正在从一个 INSERT-only 的 changelog 流构建表。
每来一个数据，都相当于做一个insert操作
流上的表并没有被存起来，只是一个概念

在这里插入图片描述

连续查询

在动态表上计算一个连续查询，并生成一个新的动态表。与批处理查询不同，连续查询从不终止，并根据其输入表上的更新更新其结果表。在任何时候，连续查询的结果在语义上与以批处理模式在输入表快照上执行的相同查询的结果相同。
也就是说流处理可以理解为批处理的一个快照，在某一时刻，将流处理的数据，使用批处理的方式处理，也是一样的结果

flink中的数据在左侧是一个动态表，是在实时更新的，右侧的数据是根据左侧的数据做出的结果，当有相同的数据需要进行处理的时候，flink的做法是将相同的数据撤回去（在前面加一个-号），也就是相当于先删除，再添加，之前的计算结果，放进状态中
在这里插入图片描述

更新和追加查询

虽然这两个示例查询看起来非常相似(都计算分组计数聚合)，但它们在一个重要方面不同:第一个查询更新先前输出的结果，即定义结果表的 changelog 流包含 INSERT 和 UPDATE 操作。
第二个查询只附加到结果表，即结果表的 changelog 流只包含 INSERT 操作。
一个查询是产生一个只追加的表还是一个更新的表有一些含义:
产生更新更改的查询通常必须维护更多的状态(请参阅以下部分)。
将 append-only 的表转换为流与将已更新的表转换为流是不同的
只进行更新操作和进行追加操作，是两种不同的流

查询限制

许多(但不是全部)语义上有效的查询可以作为流上的连续查询进行评估。有些查询代价太高而无法计算，这可能是由于它们需要维护的状态大小，也可能是由于计算更新代价太高。

状态大小： 连续查询在无界流上计算，通常应该运行数周或数月。因此，连续查询处理的数据总量可能非常大。必须更新先前输出的结果的查询需要维护所有输出的行，以便能够更新它们。例如，第一个查询示例需要存储每个用户的 URL 计数，以便能够增加该计数并在输入表接收新行时发送新结果。如果只跟踪注册用户，则要维护的计数数量可能不会太高。但是，如果未注册的用户分配了一个惟一的用户名，那么要维护的计数数量将随着时间增长，并可能最终导致查询失败。

SELECT user, COUNT(url)
FROM clicks
GROUP BY user;

计算更新： 有些查询需要重新计算和更新大量已输出的结果行，即使只添加或更新一条输入记录。显然，这样的查询不适合作为连续查询执行。下面的查询就是一个例子，它根据最后一次单击的时间为每个用户计算一个 RANK。一旦 click 表接收到一个新行，用户的 lastAction 就会更新，并必须计算一个新的排名。然而，由于两行不能具有相同的排名，所以所有较低排名的行也需要更新。

SELECT user, RANK() OVER (ORDER BY lastLogin)
FROM (
SELECT user, MAX(cTime) AS lastAction FROM clicks GROUP BY user
);

也就是说，有些SQL需要遍历整张很大的表，性能就很低，这些数据是存在状态中的，维护成本很大

表到流的转换

动态表可以像普通数据库表一样通过 INSERT、UPDATE 和 DELETE 来不断修改。它可能是一个只有一行、不断更新的表，也可能是一个 insert-only 的表，没有 UPDATE 和 DELETE 修改，或者介于两者之间的其他表。
在将动态表转换为流或将其写入外部系统时，需要对这些更改进行编码。Flink的 Table API 和 SQL 支持三种方式来编码一个动态表的变化:

  • Append-only 流： 仅通过 INSERT 操作修改的动态表可以通过输出插入的行转换为流。（这种状态指的是只进行了插入操作的表转换成的流，比如将学生信息插入表中）
  • Retract 流： retract 流包含两种类型的 message： add messages 和 retract messages 。通过将INSERT 操作编码为 add message、将 DELETE 操作编码为 retract message、将 UPDATE 操作编码为更新(先前)行的 retract message 和更新(新)行的 add message，将动态表转换为 retract 流。下图显示了将动态表转换为 retract 流的过程。（指的是更新的流，包含insert和delete）
    在这里插入图片描述
  • Upsert 流: upsert 流包含两种类型的 message： upsert messages 和delete messages。转换为 upsert 流的动态表需要(可能是组合的)唯一键。通过将 INSERT 和 UPDATE 操作编码为 upsert message，将 DELETE 操作编码为 delete message ，将具有唯一键的动态表转换为流。消费流的算子需要知道唯一键的属性，以便正确地应用 message。与 retract 流的主要区别在于 UPDATE 操作是用单个 message 编码的，因此效率更高。下图显示了将动态表转换为 upsert 流的过程。
    在这里插入图片描述

初步实现Flinksql

导入依赖

这里出现了阿里贡献的blink，是作为Planner（SQL解析器）出现的
在这里插入图片描述
从官网中可以查询到我们需要的依赖
Scala和Java的编译器

<!-- Either... -->
<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-table-api-java-bridge_2.11</artifactId>
  <version>1.11.2</version>
  <scope>provided</scope>
</dependency>
<!-- or... -->
<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-table-api-scala-bridge_2.11</artifactId>
  <version>1.11.2</version>
  <scope>provided</scope>
</dependency>

blink计划器

<!-- or.. (for the new Blink planner) -->
<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-table-planner-blink_2.11</artifactId>
  <version>1.11.2</version>
  <scope>provided</scope>
</dependency>

table的依赖

<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-streaming-scala_2.11</artifactId>
  <version>1.11.2</version>
  <scope>provided</scope>
</dependency>

自定义函数、自定义格式解析Kafka数据的依赖

<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-table-common</artifactId>
  <version>1.11.2</version>
  <scope>provided</scope>
</dependency>

实现Flinksql

可以进入官网直接先拿去环境创建的模板
在这里插入图片描述
在这里插入图片描述
在这里的flink的流处理、flink的批处理，blink的流处理，blink的批处理，选择blink的流处理



// **********************
// FLINK STREAMING QUERY
// **********************
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
import org.apache.flink.table.api.EnvironmentSettings
import org.apache.flink.table.api.bridge.scala.StreamTableEnvironment

val fsSettings = EnvironmentSettings.newInstance().useOldPlanner().inStreamingMode().build()
val fsEnv = StreamExecutionEnvironment.getExecutionEnvironment
val fsTableEnv = StreamTableEnvironment.create(fsEnv, fsSettings)
// or val fsTableEnv = TableEnvironment.create(fsSettings)

// ******************
// FLINK BATCH QUERY
// ******************
import org.apache.flink.api.scala.ExecutionEnvironment
import org.apache.flink.table.api.bridge.scala.BatchTableEnvironment

val fbEnv = ExecutionEnvironment.getExecutionEnvironment
val fbTableEnv = BatchTableEnvironment.create(fbEnv)

// **********************
// BLINK STREAMING QUERY
// **********************
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
import org.apache.flink.table.api.EnvironmentSettings
import org.apache.flink.table.api.bridge.scala.StreamTableEnvironment

val bsEnv = StreamExecutionEnvironment.getExecutionEnvironment
val bsSettings = EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build()
val bsTableEnv = StreamTableEnvironment.create(bsEnv, bsSettings)
// or val bsTableEnv = TableEnvironment.create(bsSettings)

// ******************
// BLINK BATCH QUERY
// ******************
import org.apache.flink.table.api.{EnvironmentSettings, TableEnvironment}

val bbSettings = EnvironmentSettings.newInstance().useBlinkPlanner().inBatchMode().build()
val bbTableEnv = TableEnvironment.create(bbSettings)

代码：

package com.shujia.SQL

import org.apache.flink.streaming.api.scala._
import org.apache.flink.table.api._
import org.apache.flink.table.api.bridge.scala._
import org.apache.flink.types.Row

object Demo1TableApi {
  def main(args: Array[String]): Unit = {

    val bsEnv: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment

    val bsSettings: EnvironmentSettings = EnvironmentSettings
      .newInstance()
      .useBlinkPlanner() //使用blink的计划器
      .inStreamingMode() //使用流处理模型
      .build()

    //创建table的环境
    val bsTableEnv: StreamTableEnvironment = StreamTableEnvironment.create(bsEnv, bsSettings)

    //构建一个流
    val linesDS: DataStream[String] = bsEnv.socketTextStream("master",8888)

    //将流转换成动态表 可以指定字段
    //这个table类似于spark中的dataframe，可以使用dsl的api，flink中的dsl不是很友好，不使用
    val table: Table = bsTableEnv.fromDataStream(linesDS,$"word")

    //注册一张表
    bsTableEnv.createTemporaryView("words",table)

    //在动态表上进行连续查询
    val countTable: Table = bsTableEnv.sqlQuery(
      """
      |select word,count(1) from words group by word
      """.stripMargin)

    //更新流
    //将结果表转换成流
    //多了一个boolean，为true就是插入，为false就是删除
    val resultDS: DataStream[(Boolean, Row)] = countTable.toRetractStream[Row]

    resultDS.print()

    bsEnv.execute()

  }
}

true表示输入了数据，false表示删掉了数据

在这里插入图片描述

进一步实现Flinksql，全程sql

可以首先进入官网查看，这里通过table的方式直接连接Kafka
在这里插入图片描述
比如我们这里可以通过table的方式直接连接kafka
在这里插入图片描述
这里也可以修改读取的不同数据来源的格式（这里举例的是csv格式，官网可查看，直接加参数可修改）
在这里插入图片描述

package com.shujia.SQL

import org.apache.flink.streaming.api.scala._
import org.apache.flink.table.api._
import org.apache.flink.table.api.bridge.scala._
import org.apache.flink.types.Row

object Demo2FlinksqlOnKafka {
  def main(args: Array[String]): Unit = {

    //flinksql的环境
    val bsEnv: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
    val bsSettings: EnvironmentSettings = EnvironmentSettings
      .newInstance()
      .useBlinkPlanner() //使用blink的计划器
      .inStreamingMode() //使用流处理模型
      .build()
    //创建table的环境
    val bsTableEnv: StreamTableEnvironment = StreamTableEnvironment.create(bsEnv, bsSettings)

    //两种格式，一种是executesql直接写sql返回一个结果，一种是sqlquery，返回一个表
    /**
      * 基于Kafka的topic创建动态表
      * 这里读取的格式是csv格式，默认就是逗号分割，当然可以修改，官网可查看
      */
    bsTableEnv.executeSql(
      """
        |
        |CREATE TABLE student (
        | id STRING,
        | name STRING,
        | age BIGINT,
        | gender STRING,
        | clazz STRING
        |) WITH (
        | 'connector' = 'kafka',
        | 'topic' = 'student2',
        | 'properties.bootstrap.servers' = 'master:9092',
        | 'properties.group.id' = 'abc',
        | 'format' = 'csv',
        | 'scan.startup.mode' = 'earliest-offset'
        |)
        |
      """.stripMargin)

    val countTable: Table = bsTableEnv.sqlQuery(
      """
      select clazz,count(1) from student group by clazz
      """.stripMargin)

    //更新流
    countTable.toRetractStream[Row].print()

    bsEnv.execute()
  }
}

但是这里在将代码写完之后会出现一个问题
在这里插入图片描述
这里的意思是，我们试着读取csv格式的文件，但是我们这里没有csv的依赖，需要导入csv的依赖jar包
在这里插入图片描述
结果出来：
在这里插入图片描述

flink中的print表

在之前我们在写完sql想要输出结果的时候，都需要将表转换成流，再进行输出，在这里，flink为我们提供了一种print表，可以供我们方便的调试
在这里插入图片描述

package com.shujia.SQL

import org.apache.flink.streaming.api.scala._
import org.apache.flink.table.api._
import org.apache.flink.table.api.bridge.scala._

object Demo2FlinksqlOnKafka {
  def main(args: Array[String]): Unit = {

    //flinksql的环境
    val bsEnv: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
    val bsSettings: EnvironmentSettings = EnvironmentSettings
      .newInstance()
      .useBlinkPlanner() //使用blink的计划器
      .inStreamingMode() //使用流处理模型
      .build()
    //创建table的环境
    val bsTableEnv: StreamTableEnvironment = StreamTableEnvironment.create(bsEnv, bsSettings)

    //两种格式，一种是executesql直接写sql返回一个结果，一种是sqlquery，返回一个表
    /**
      * 基于Kafka的topic创建动态表
      * 这里读取的格式是csv格式，默认就是逗号分割，当然可以修改，官网可查看
      */
    bsTableEnv.executeSql(
      """
        |
        |CREATE TABLE student (
        | id STRING,
        | name STRING,
        | age BIGINT,
        | gender STRING,
        | clazz STRING
        |) WITH (
        | 'connector' = 'kafka',
        | 'topic' = 'student2',
        | 'properties.bootstrap.servers' = 'master:9092',
        | 'properties.group.id' = 'abc',
        | 'format' = 'csv',
        | 'scan.startup.mode' = 'earliest-offset'
        |)
        |
      """.stripMargin)

    /**
      * 用于测试打印的print表
      */
    bsTableEnv.executeSql(
      """
        |CREATE TABLE print_table (
        | clazz STRING,
        | c BIGINT
        |) WITH (
        | 'connector' = 'print'
        |)
      """.stripMargin)

    /**
      * 执行sql查询，将结果保存到另一张表中
      */
      bsTableEnv.executeSql(
      """
         |insert into print_table
         |select clazz,count(1) as c from student group by clazz
      """.stripMargin)

  }
}

在这里插入图片描述

将读取的数据放入MySQL

（使用flinksql读取Kafka的数据，统计班级人数，放入MySQL）

我们也可以从官网找到如何使用jdbc连接MySQL（全程sql）
在这里插入图片描述
先导入依赖，再使用下面的范例直接连接
在这里插入图片描述

package com.shujia.SQL

import org.apache.flink.streaming.api.scala._
import org.apache.flink.table.api._
import org.apache.flink.table.api.bridge.scala._

object Demo2FlinksqlOnKafka {
  def main(args: Array[String]): Unit = {

    //flinksql的环境
    val bsEnv: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
    val bsSettings: EnvironmentSettings = EnvironmentSettings
      .newInstance()
      .useBlinkPlanner() //使用blink的计划器
      .inStreamingMode() //使用流处理模型
      .build()
    //创建table的环境
    val bsTableEnv: StreamTableEnvironment = StreamTableEnvironment.create(bsEnv, bsSettings)

    //两种格式，一种是executesql直接写sql返回一个结果，一种是sqlquery，返回一个表
    /**
      * 基于Kafka的topic创建动态表
      * 这里读取的格式是csv格式，默认就是逗号分割，当然可以修改，官网可查看
      */
    bsTableEnv.executeSql(
      """
        |
        |CREATE TABLE student (
        | id STRING,
        | name STRING,
        | age BIGINT,
        | gender STRING,
        | clazz STRING
        |) WITH (
        | 'connector' = 'kafka',
        | 'topic' = 'student2',
        | 'properties.bootstrap.servers' = 'master:9092',
        | 'properties.group.id' = 'abc',
        | 'format' = 'csv',
        | 'scan.startup.mode' = 'earliest-offset'
        |)
        |
      """.stripMargin)

    /**
      * 用于测试打印的print表
      */
//    bsTableEnv.executeSql(
//      """
//        |CREATE TABLE print_table (
//        | clazz STRING,
//        | c BIGINT
//        |) WITH (
//        | 'connector' = 'print'
//        |)
//      """.stripMargin)

    /**
      * 执行sql查询，将结果保存到另一张表中
      */
//      bsTableEnv.executeSql(
//      """
//         |insert into print_table
//         |select clazz,count(1) as c from student group by clazz
//      """.stripMargin)

    /**
      * 用于写入MySQL数据库的表
      *   PRIMARY KEY (id) NOT ENFORCED
      */
    bsTableEnv.executeSql(
      """
        |CREATE TABLE students (
        |  clazz STRING,
        |  c BIGINT,
        |  PRIMARY KEY (clazz) NOT ENFORCED
        |) WITH (
        |   'connector' = 'jdbc',
        |   'url' = 'jdbc:mysql://192.168.5.201:3306/student?useUnicode=true&characterEncoding=utf-8',
        |   'table-name' = 'student1',
        |   'username'='root',
        |   'password'='123456'
        |)
      """.stripMargin)

    bsTableEnv.executeSql(
      """
        |insert into students
        |select clazz,count(1) as c from student group by clazz
      """.stripMargin)

  }
}

这里记得先在MySQL中将clazz设置为主键
在这里插入图片描述
结果：
在这里插入图片描述
这里我们还可以看到，我们在Kafka生产端生产数据，消费端会出来数据，而且MySQL数据库中的结果也会实时进行更新
生产端生产了一个数据：
在这里插入图片描述
消费端出来了数据：
在这里插入图片描述
MySQL端也进行了更新：106到了107
在这里插入图片描述

不按规范数据格式输入的处理办法

如果我们输入的数据格式不符合MySQL中数据格式的要求，程序就会直接终止，显示无法解析我们输入的数据的格式
在这里插入图片描述
这里我们继续看官网，这里给了我们一个参数，解析异常时我们可以跳过该条数据，将参数设置为true即可
在这里插入图片描述
但我们修改完成之后，这里还是会出现一个错误，因为它遇到异常的时候会将我们的数据解析为null，而我们的主键要为非空，所以这里还需做一些修改
在这里插入图片描述
这里说的是我们需要设置configuration，那我们new一个出来

val configuration: Configuration = new Configuration()
    configuration.setString("table.exec.sink.not-null-enforcer","drop")

这里有两个地方可以添加configuration
1、把环境从get变成create
在这里插入图片描述
在这里插入图片描述
2、
在这里插入图片描述
我们选择第二种

修改过后，这里随便输入也不会有问题了
在这里插入图片描述

整体代码：

package com.shujia.SQL

import org.apache.flink.configuration.Configuration
import org.apache.flink.streaming.api.scala._
import org.apache.flink.table.api._
import org.apache.flink.table.api.bridge.scala._

object Demo2FlinksqlOnKafka {
  def main(args: Array[String]): Unit = {
    val configuration: Configuration = new Configuration()
    configuration.setString("table.exec.sink.not-null-enforcer","drop")

    //flinksql的环境
    val bsEnv: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment

    val bsSettings: EnvironmentSettings = EnvironmentSettings
      .newInstance()
      .useBlinkPlanner() //使用blink的计划器
      .inStreamingMode() //使用流处理模型
      .build()
    //创建table的环境
    val bsTableEnv: StreamTableEnvironment = StreamTableEnvironment.create(bsEnv, bsSettings)
    bsTableEnv.getConfig.addConfiguration(configuration)

    //两种格式，一种是executesql直接写sql返回一个结果，一种是sqlquery，返回一个表
    /**
      * 基于Kafka的topic创建动态表
      * 这里读取的格式是csv格式，默认就是逗号分割，当然可以修改，官网可查看
      */
    bsTableEnv.executeSql(
      """
        |
        |CREATE TABLE student (
        | id STRING,
        | name STRING,
        | age BIGINT,
        | gender STRING,
        | clazz STRING
        |) WITH (
        | 'connector' = 'kafka',
        | 'topic' = 'student2',
        | 'properties.bootstrap.servers' = 'master:9092',
        | 'properties.group.id' = 'abc',
        | 'format' = 'csv',
        | 'csv.ignore-parse-errors' = 'true',
        | 'scan.startup.mode' = 'latest-offset'
        |)
        |
      """.stripMargin)

    /**
      * 用于测试打印的print表
      */
//    bsTableEnv.executeSql(
//      """
//        |CREATE TABLE print_table (
//        | clazz STRING,
//        | c BIGINT
//        |) WITH (
//        | 'connector' = 'print'
//        |)
//      """.stripMargin)

    /**
      * 执行sql查询，将结果保存到另一张表中
      */
//      bsTableEnv.executeSql(
//      """
//         |insert into print_table
//         |select clazz,count(1) as c from student group by clazz
//      """.stripMargin)

    /**
      * 用于写入MySQL数据库的表
      *   PRIMARY KEY (id) NOT ENFORCED
      */
    bsTableEnv.executeSql(
      """
        |CREATE TABLE students (
        |  clazz STRING,
        |  c BIGINT,
        |  PRIMARY KEY (clazz) NOT ENFORCED
        |) WITH (
        |   'connector' = 'jdbc',
        |   'url' = 'jdbc:mysql://192.168.5.201:3306/student?useUnicode=true&characterEncoding=utf-8',
        |   'table-name' = 'student1',
        |   'username'='root',
        |   'password'='123456'
        |)
      """.stripMargin)

    bsTableEnv.executeSql(
      """
        |insert into students
        |select clazz,count(1) as c from student group by clazz
      """.stripMargin)

  }
}

集群中提交代码

打包到目录，直接运行
在这里插入图片描述

先导入依赖
在这里插入图片描述
提交集群运行flink
flink run -c com.shujia.SQL.Demo2FlinksqlOnKafka flink-1.0-SNAPSHOT.jar

在这里插入图片描述

正常运行
在这里插入图片描述
在这里插入图片描述

flinksql也可以实现从各种数据源读取数据，写入别的数据源，在其中做一些变换，在这边的都可以用，要多看官网
在这里插入图片描述

感谢阅读，我是啊帅和和，一位大数据专业大四学生，祝你快乐。

啊帅和和。
关注
  • 4
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Flink SQL 基础教程和项目实践
禅与计算机程序设计艺术
05-24 38
Apache Flink 是一个用于处理流和批数据的分布式流处理框架。Flink SQL 是 Flink 提供的一种高级 API，它允许用户使用 SQL 查询来处理数据流。Flink SQL 结合了 Flink 的流处理能力和 SQL 的简洁性，使得数据处理更加直观和高效。随着大数据技术的发展，实时数据处理需求日益增加。Flink SQL 作为一种强大的工具，能够帮助开发者快速实现复杂的数据处理逻辑。本教程将深入探讨 Flink SQL 的基础知识，并通过项目实践展示其实际应用。
flink-sql-connector-kafka-2.12-1.13.1.jar
最新发布
03-15
flink-sql-connector-kafka_2.12-1.13.1.jar 是 Apache Flink 的一个 Kafka SQL Connector 的 JAR 包，用于在 Flink SQL 环境中与 Apache Kafka 集成。这里面的数字 2.12 和 1.13.1 分别表示了这个 JAR 包所依赖的 ...
Flink 最锋利的武器：Flink SQL 入门和实战
热门推荐
微信搜：import_bigdata，大数据领域硬核原创作者
06-21 8万+
一、Flink SQL 背景Flink SQL 是 Flink 实时计算为简化计算模型，降低用户使用实时计算门槛而设计的一套符合标准 SQL 语义的开发语言。自 2015...
FlinkSql概述
m0_57697768的博客
06-19 9291
Table API和SQL是最上层的API，在Flink中这两种API被集成在一起，SQL执行的对象也是Flink中的表（Table），所以我们一般会认为它们是一体的。Flink是批流统一的处理框架，无论是批处理（DataSet API）还是流处理（DataStream API），在上层应用中都可以直接使用Table API或者SQL来实现；这两种API对于一张表执行相同的查询操作，得到的结果是完全一样的。
Flink:Flink-SQL开发
07-27 1万+
背景 Flink SQL 是 Flink 实时计算为简化计算模型，降低用户使用实时计算门槛而设计的一套符合标准 SQL 语义的开发语言。 自 2015 年开始，阿里巴巴开始调研开源流计算引擎，最终决定基于 Flink 打造新一代计算引擎，针对 Flink 存在的不足进行优化和改进，并且在 2019 年初将最终代码开源，也就是我们熟知的 Blink。Blink 在原来的 Flink 基础上最显著的一个贡献就是 Flink SQL 的实现。 Flink SQL 是面向用户的 API 层，在我们传统的流式计算领域
Flink 学习十 FlinkSQL
weixin_44244088的博客
06-20 9725
flinksql 从入门到入门...
flink-sql所有语法详解
begefefsef的博客
09-09 1万+
SET语句用于修改配置或列出配置。RESET语句用于将配置重置为默认值。CREATE语句用于将表/视图/函数注册到当前或指定的 Catalog 中。已注册的表/视图/函数可以在SQL查询中使用。NSERT语句用于向表中添加行数据。USE语句用于设置当前数据库或catalog，或更改模块的解析顺序和启用状态。select语句主要是从表中查询数据，然后将数据插入到其他表中。直接在页面中查看select的结果，目前平台还不支持。单个反斜杠就可以作为转义字符使用，在select查询中可以直接使用。
Flink-SQL
qq_45409791的博客
08-02 3098
1.抽象出来一个动态表，并未进行存储，是Flink支持流数据的tableAPI和sql的核心概念，随时间变化的，查询动态表会生成一个连续的查询，结果是一个动态表2.hive进入命令行需要先启动元数据服务，在查数据的时候数据是不变的3.除非是有界流，否则连续的查询是不会停止的4.将流转化（定义）成动态表，在动态表上计算一个连续的查询，生成一个新的动态表，最后转换成流，连续查询从不停止，会根据输入表上的更新对结果表进行更新。......
flink-sql-connector-oracle-cdc-2.5-SNAPSHOT.jar
08-15
flink-sql-connector-oracle-cdc 2.5-SNAPSHOT
flink-sql-connector-mysql-cdc-2.3.0.jar
07-05
flink同步mysql数据库所用包
flink-sql-connector-oceanbase-cdc-2.5-SNAPSHOT.jar
08-15
flink-sql-connector-oceanbase-cdc 2.5-SNAPSHOT
flink-sql-connector-mysql-cdc-1.2.0.jar
03-05
flink cdc mysql jar包，2021年最新版
快速入门Flink SQL —— 介绍及入门
大数据记录
12-16 1万+
前言          Flink 本身是批流统一的处理框架，所以 Table API 和 SQL，就是批流统一的上层处理 API。目前功能尚未完善，处于活跃的开发阶段。          Table API 是一套内嵌在 Java 和 Scala 语言中的查询 API，它允许我们以非常直观的方式，组合来自一些关系运算符的查询（比如 select、f
【Flink SQL】Flink SQL 基础概念（一）：SQL & Table 运行环境、基本概念及常用 API
书山有路，学海无涯。记录成长，追逐梦想
03-11 1616
Table API 是一种集成在 Java、Scala 和 Python 语言中的查询 API，简单理解就是用 Java、Scala、Python 按照 SQL 的查询接口封装了一层 lambda 表达式的查询 API，它允许以强类型接口的方式组合各种关系运算符（如选择、筛选和联接）的查询操作，然后生成一个 Flink 任务运行。
flink sql运用入门
yc_zlj的博客
05-31 3983
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 系列文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 目前我司项目中有实时大屏的需求，涉及实时计算部分的选型（以开源为基础），目前主流选择有spark,storm和flink。其中storm只...
FlinkSQL快速入门
不能如期而至的专栏
09-08 6034
一.FlinkSQL和TableAPI简介 Flink针对流处理和批处理，为我们提供了多种操作API。从图中可知，越上层的API抽象程度越高，门槛越低（大家都熟悉SQL），但也丧失了灵活性。 Table API 是一系列集成在Java或Scala语言中的查询API，它允许通过一些关系运算符操作进行很直观的操作。 FlinkSQL 则是基于Apache Calcite实现了标准的SQL，可以通过编写SQL的方式进行Flink数据处理。 需要引入的依赖 <dependency> <gr
尚硅谷Flink（完）FlinkSQL
qq_58551342的博客
10-17 2056
⚫ 标量函数（Scalar Functions）：将输入的标量值转换成一个新的标量值；⚫ 表函数（Table Functions）：将标量值转换成一个或多个新的行数据，也就是扩展成一个表；⚫ 聚合函数（Aggregate Functions）：将多行数据里的标量值转换成一个新的标量值；⚫ 表聚合函数（Table Aggregate Functions）：将多行数据里的标量值转换成一个或多个新的行数据。要想在代码中使用自定义的函数，我们需要首先自定义对应 UDF 抽象类的实现，并在表环境中注册。
Flink Sql光速入门
weixin_42354436的博客
07-14 1504
flink sql很简单，只要会sql就会写实时应用报表
FlinkSQL学习笔记（一）快速入门
weixin_37172178的博客
02-03 1826
FlinkSQL是架构于 flink core 之上用 sql 语义方便快捷地进行结构化数据处理的上层库；（非常类似 sparksql 和 sparkcore 的关系）由于FlinkSQL建立在Flink core的基础之上，这里进行先对一个简单的FlinkSQL编程过程进行说明。FlinkSQL编程包括TableAPI和SQLAPI，运用中更多地使用SQLAPI，这里对于TableAPI不做详细介绍，后续用到的时候再进行详细介绍。此外，在编程方式上，两种SQL可以进行混合使用。
https://archive.apache.org/dist/flink/flink-1.17.0/flink-1.17.0-bin-scala_2.12.tgz https://repo.maven.apache.org/maven2/org/apache/flink/flink-sql-connector-elasticsearch7/3.0.1-1.17/flink-sql-connector-elasticsearch7-3.0.1-1.17.jar https://repo1.maven.org/maven2/com/ververica/flink-sql-connector-mysql-cdc/2.1.0/flink-sql-connector-mysql-cdc-2.1.0.jar https://repo1.maven.org/maven2/com/ververica/flink-sql-connector-postgres-cdc/2.1.0/flink-sql-connector-postgres-cdc-2.1.0.jar 这四个链接版本兼容吗
06-02
这四个链接的版本兼容性需要具体分析。其中，`flink-1.17.0-bin-scala_2.12.tgz` 和 `flink-sql-connector-elasticsearch7-3.0.1-1.17.jar` 都是针对 Flink 1.17.0 版本的，因此它们的版本兼容性是没有问题的；而 `flink-sql-connector-mysql-cdc-2.1.0.jar` 和 `flink-sql-connector-postgres-cdc-2.1.0.jar` 都是针对 Ververica CDC Connectors 2.1.0 版本的，因此它们的版本兼容性也是没有问题的。 但是，由于 Flink 和 Ververica CDC Connectors 都会不断更新和升级，因此如果你使用的是其他版本的 Flink 和 Ververica CDC Connectors，那么它们的版本兼容性就需要具体分析了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

啊帅和和。

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值