weixin_46021633的博客

目前大数据领域最火爆的实时计算引擎，学习+分享。

redis6版本安装，测试学习使用，针对本机在安装过程中遇到的小问题并解决。

什么是Queryable State简而言之，就是Flink将managed keyed（partitioned）state暴露给外部，从而用户可以从Flink外部访问state作业。架构1.QueryableStateClient,默认运行在Flink集群的外部，负责提交用户的查询请求。2.QueryableStateClientProxy，运行在TaskManager上（Flink集群的内部），负责接收客户端的查询请求，从所负责的Task Manager获取请求的state，并返回给客户端。

Flink中的state是什么？首先flink从消息队列中读取到的每一条数据称之为事件，虽然很多操作中一次只查看一个单独的事件，但是有些操作会记录多个事件信息，这些操作称为有状态的操作。有状态操作的一些示例：当应用程序搜索某些事件模式时，状态将会存储目前为止遇到的时间序列。当聚合每分钟/小时/天，状态会保存挂起的聚合。在数据流上训练机器模型，状态会保存当前模型的参数的版本。当需要管理历史事件，状态允许有效的访问历史事件。Flink需要知道状态的信息，以便使用checkpoing和savep

概念与通用的APITable API和SQL集成在同一套API中。这套API的核心概念式Table，用作查询的输入和输出。本文介绍了Table API和SQL程序的通用结构、如何注册Table、如何查询Table以及如何输出Table。

依赖图Flink1.9开始，Flink提供了两个Table Planner实现来执行Table API和SQL程序：Blink Planner和Old Planner，Old Planner在1.9之前已经存在了。Planner的作用是将关系型操作翻译成可执行的、优化后的任务。两种Planner在优化规则和执行时类都不一样，在支持的功能上也有些差异。对于生产环境，建议使用在1.11之后变成默认的Blink Planner。所有的Table API和sql的代码都在flink-table或者flin

State概念解析State是一个接口，不同类型的分区状态必须实现的接口，State只能应用于{@code KeyedStream}的函数访问。key是由系统自动提供的，因此函数总是看到映射到当前元素的键的值。这样，系统可以一致地处理流和状态分区。KeyedStream:KeyedStream继承了DataStream，是由datastream的keyBy()，产生的。表示按key的value分区过的流。在datastream的功能基础上，由添加了一些max,min等聚合的功能。通过状态快照实现容

Flink Time的操作时间语义针对stream流中的事件，分为三种：1.Event Time：事件本身的时间2.Ingestion Time:进入系统的时间3.Process Time：处理消息的时间哪种时间语义更重要：1.不同的时间语义有不同的应用场合2.在Flink处理数据时，更关心事件时间，因为绝大部分业务都会使用event time，一般只在event time无法使用的时候，才会使用process time或者Ingestion time。3.使用event time的时

Flink的Window操作Flink认为Batch是Streaming的一个特例，所以Flink底层引擎是一个流式处理引擎，而Window就是Streaming和Batch链接的桥梁。Window的概念：在流式处理应用中，数据是连续不断的，我们不可能等到所有数据都到了之后再去处理，但是有时根据业务的需求我们需要做一些聚合类的处理。例如：在过去的一分钟内有多少用户点击了我们的网页，在这种情况下，我们必须定义一个窗口，用来收集最近一分钟的数据，并对这个窗口内的数据进行计算。Window的类型：时间窗口