hzp666的博客

数据倾斜无论是在离线还是实时中都会遇到，其定义是：在并行进行数据处理的时候，按照某些key划分的数据显著多余其他部分，分布不均匀，导致大量数据集中分布到一台或者某几台计算节点上，使得该部分的处理速度远低于平均计算速度，成为整个数据集处理的瓶颈，从而影响整体计算性能。造成数据倾斜的原因有很多种，如group by时的key分布不均匀，空值过多、count distinct等，本文将只介绍group by + count distinct这种情况。▐ 背景。

实例：

支持的函数select查询过滤聚合操作连接操作集合操作intersect & exceptinexistsorder bylimit

MapFlatMap聚合

连接内连接外连接集合操作 union获取交集获取差集in 操作排序操作插入操作

实例：验证：

from用法select用法as用法where用法filter用法列操作增删改

实例。

这里以第2种，dataStream为例： 这里以第2个为例：

表转换为DataStream/DataSet时，需要指定字段数据类型，最方便的就是把数据类型定为row，即行数据。

删除project structure下Libraries中的Scala SDK后关闭IDEA，重新打开，检查pom.xml文件中Scala的版本，重新导入Scala SDK。

import org.apache.flink.streaming.api.scala.StreamExecutionEnvironmentimport org.apache.flink.table.api.EnvironmentSettingsimport org.apache.flink.table.api.bridge.scala.{StreamTableEnvironment, tableConversions}object sqlQueryTable { def main(args: Ar

<!-- csv--> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-csv</artifactId> <version>1.14.4</version> </dependency>表模式

build()"""|(|)with(|)//print//execute。

1.生成运行时env2.生成表环境3.接上数据流，数据流数据生成表4.把数据库中sink保存数据的表，在flink中生成一遍（相当于把flink生成的表，绑定到数据库中的表），配上数据库连接信息，并执行，及注册5.查询表，可以根据注册表名查询6.插入表，可以根据生成的flink表进行数据插入。

3 人赞同了该文章Apache Flink提供了两种顶层的关系型API，分别为Table API和SQL，Flink通过Table API&SQL实现了批流统一。其中Table API是用于Scala和Java的语言集成查询API，它允许以非常直观的方式组合关系运算符（例如select，where和join）的查询。Flink SQL基于Apache Calcite 实现了标准的SQL，用户可以使用标准的SQL处理数据集。

flink SQL是最上层的封装，封装了流处理的DataStream API 和 批处理的DataSet API。但是DataStream API 、DataSet API、table API、flink SQL 这几层并没有分到不同层中，所以应用程序可以同时使用这几层。 ps:jar包名 也会随flink版本变化：flink-table-planner_2.12，去掉了blink字符 <!--Flink scala项目核心依赖--> <

在离线的批处理的作业中，往往都是对数据进行切片计算，最后再把结果聚合，所以对数据状态要求不高。比较好理解，就是流中的事件相互独立，流只看最后到达的数据状态，作为最新状态。比如：水库水位只接收传感器最后的水位高度，作为最后状态。但是实时流数据中数据状态就很重要了。而不考虑之前到达的数据的情况。

为了处理某些延迟数据，在水位线关闭后才到达，导致延迟数据被删除的问题。

水位线在事件时间的世界里面，承担了时钟的角色。也就是说在事件时间的流中，水位线是唯一的时间尺度。如果想要知道现在几点，就要看水位线的大小。后面讲到的窗口的闭合，以及定时器的触发都要通过判断水位线的大小来决定是否触发。水位线是一种特殊的事件，由程序员通过编程插入的数据流里面，然后跟随数据流向下游流动。水位线的默认计算公式：水位线 = 观察到的最大事件时间 – 最大延迟时间 – 1 毫秒。所以这里涉及到一个问题，就是不同的算子看到的水位线的大小可能是不一样的。

flink有3种时间水位线主要解决，数据乱序到达或者延迟到达的问题。

/env})}//}}}}}})}}}

在进行窗口处理时，不可能无限期的等待延迟数据到达，当到达特定watermark时,认为在watermark之前的数据已经全部达到(即使后面还有延迟的数据), 可以触发窗口计算，这个机制就是 Watermark(水位线)，具体如下图所示。如果水位线设置的过于宽松，好处是计算时能保证近可能多的数据被收集到，但由于此时的水位线远落后于处理记录的时间戳，导致产生的数据结果延迟较大。如果设置的水位线过于紧迫，数据结果的时效性当然会更好，但由于水位线大于部分记录的时间戳，数据的完整性就会打折扣。

1.2、如果分区中offset没有找到，则使用kafka properties中的auto.offset.reset配置（比如：latest、earliest）配置：enable.auto.commit / auto.commit.interval.ms。从最早的记录开始，使用此配置，在kafka中已经提交的offset将被忽略，不会被使用。从最新的开始，使用此配置，在kafka中已经提交的offset将被忽略，不会被使用。flink kafka消费依赖于内部kafka客户端自动定期的offset提交。

-Flink 本地测试wei ui依赖 http://127.0.0.1:8081/ -->--Flink Table API 核心依赖-->--这里没引打包插件 需要的自己引用-->--Flink rocksdb状态后依赖 -->--Flink Java 项目核心依赖-->--Flink scala项目核心依赖-->--Flink 本地测试客户端依赖-->--Flink Kafka依赖-->--junit测试-->--Flink项目核心依赖-->--以下用到什么引用什么-->--本地测试核心依赖-->

示例1：当流中元素达到5个以后，触发窗口计算。

简单的flink接入kafka结果报错：---------------------------————————————————————————————————————————//create envval env = StreamExecutionEnvironment.getExecutionEnvironment//set parallelismenv.setParallelism(1)//set process timeenv.setStreamTimeCharacteristic(Tim

重写3个方法：createAccumulator（生成累加器）、 add（编辑累加逻辑）、getResult（编辑输出结果）、merge（编辑累加器合并逻辑）

处理时间事件时间滚动窗口方法一：.sum(1)第二步第1步：第2步：.sum(1)滑动窗口。

在 Flink 的流式处理中，会涉及到时间的不同概念，如下图所示Event Time：是事件创建的时间。它通常由事件中的描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink 通过时间戳分配器访问事件时间戳。Ingestion Time：是数据进入 Flink 的时间。Time：是每一个执行基于时间操作的算子的本地系统时间，与机器相关，默认的时间属性就是 Processing Time。

窗口操作是flink程序的核心。通过窗口将无限的数据流切分成有限的窗口操作。

主要有2种窗口，一个基于时间窗口，一个是基于数据窗口。时间窗口中起止时间是，左闭右开。

/sink}}//sink}}

常见的聚合算子 sum,max,min等聚合算子可以在在keyedStream 流上进行滚动的聚合（即累计的操作），而且同一个 keyedStream 流上只能调用一次 聚合算子。

1.继承 ReduceFunction 类2.重写reduce 方法。

主要作用：把相同的数据，汇总到相同的分区中。

}

1.将数据切分2.拍扁 示例：输出结果：import org.apache.flink.api.scala.createTypeInformationimport org.apache.flink.streaming.api.scala.StreamExecutionEnvironmentobject flatMapTest { def main(args: Array[String]): Unit = { //create env val env = StreamEx

示例：import org.apache.flink.streaming.api.scala.StreamExecutionEnvironmentimport org.apache.flink.streaming.api.scala._object mapTest { def main(args: Array[String]): Unit = { //create env val env = StreamExecutionEnvironment.getExecutionEnvi