flink
flink
小朋友,你是否有很多问号?
这个作者很懒,什么都没留下…
展开
-
flink tableApi和 filink sql ---3.从kafka读取数据 再输出到kafka
sensor_1,1547718199,35.8sensor_6,1547718201,15.4sensor_7,1547718202,6.7sensor_10,1547718205,38.1sensor_1,1547718129,29.8sensor_1,1547718158,5.8sensor_1,1547718140,40.8package com.tableApiTestimport org.apache.flink.streaming.api.scala._import..原创 2021-02-16 11:38:55 · 290 阅读 · 0 评论 -
flink tableApi和 filink sql ---2 table api 写入到文件
package com.tableApiTestimport org.apache.flink.streaming.api.scala._import org.apache.flink.table.api.{DataTypes, Table}import org.apache.flink.table.api.scala._import org.apache.flink.table.descriptors.{Csv, FileSystem, Schema}object FileOutPutTes.原创 2021-02-15 20:53:40 · 247 阅读 · 0 评论 -
flink tableApi和 filink sql ---1 简单实现
sensor_1,1547718199,35.8sensor_6,1547718201,15.4sensor_7,1547718202,6.7sensor_10,1547718205,38.1sensor_1,1547718129,29.8sensor_1,1547718158,5.8sensor_1,1547718140,40.8sensor_1,1547718111,11.8package com.tableApiTestimport org.apache.flink.str.原创 2021-02-14 11:36:47 · 168 阅读 · 0 评论 -
Flink 7 - state
流式计算分为无状态和有状态两种情况。无状态的计算观察每个独立事件,并根据最后一个事件输出结果。例如,流处理应用程序从传感器接收温度读数,并在温度超过90度时发出警告。有状态的计算则会基于多个事件输出结果。以下是一些例子。所有类型的窗口。例如,计算过去一小时的平均温度,就是有状态的计算。 所有用于复杂事件处理的状态机。例如,若在一分钟内收到两个相差20度以上的温度读数,则发出警告,这是有状态的计算。 流与流之间的所有关联操作,以及流与静态表或动态表之间的关联操作,都是有状态的计算。下图展示了无状态流原创 2021-02-09 18:42:47 · 138 阅读 · 0 评论 -
flink6 - watermark
watermark延迟时间策略 最大的时间-最大的延迟程度>=窗口时 窗口关闭sensor_1,1547718199,35.8sensor_6,1547718201,15.4sensor_7,1547718202,6.7sensor_10,1547718205,38.1sensor_1,1547718129,29.8sensor_1,1547718158,5.8sensor_1,1547718140,40.8sensor_1,1547718111,11.8p...原创 2021-02-08 17:53:35 · 111 阅读 · 0 评论 -
flink5 - window
D:\develop_software\netcat-win32-1.12> nc -l -p 7777sensor_1,1547718199,35.8sensor_6,1547718201,15.4sensor_7,1547718202,6.7sensor_10,1547718205,38.1sensor_1,1547718129,29.8sensor_1,1547718158,5.8sensor_1,1547718140,40.8pac...原创 2021-02-07 23:02:13 · 88 阅读 · 0 评论 -
flink4 - 输出到文件/kafka/redis/mysql
数据sensor_1,1547718199,35.8sensor_6,1547718201,15.4sensor_7,1547718202,6.7sensor_10,1547718205,38.1sensor_1,1547718129,29.8sensor_1,1547718158,5.8sensor_1,1547718140,40.8sensor_1,1547718111,11.8package com.sinktestimport java.sql.{Connection,.原创 2021-02-07 20:30:43 · 225 阅读 · 0 评论 -
flink3 分流 合流 自定义map 自定义filter
文件 sensor_1,1547718199,35.8sensor_6,1547718201,15.4sensor_7,1547718202,6.7sensor_10,1547718205,38.1sensor_1,1547718129,29.8sensor_1,1547718158,5.8sensor_1,1547718140,40.8sensor_1,1547718111,11.8package com.apitestimport org.apache.flin...原创 2021-02-06 22:07:49 · 332 阅读 · 0 评论 -
Flink2-从集合 文件 kafka 自定义source中读取数据
package com.apitestimport java.util.Propertiesimport org.apache.flink.api.common.serialization.SimpleStringSchemaimport org.apache.flink.streaming.api.functions.source.SourceFunctionimport org.apache.flink.streaming.api.scala.StreamExecutionEnvironm.原创 2021-02-06 15:12:39 · 374 阅读 · 0 评论 -
flink TskManger与Slots
Flink中每一个worker(TaskManager)都是一个JVM进程,它可能会在独立的线程上执行一个或多个subtask。为了控制一个worker能接收多少个task,worker通过task slot来进行控制(一个worker至少有一个task slot)。每个task slot表示TaskManager拥有资源的一个固定大小的子集。假如一个TaskManager有三个slot,那么它会将其管理的内存分成三份给各个slot。资源slot化意味着一个subtask将不需要跟来自其他job的sub原创 2021-01-27 23:12:54 · 589 阅读 · 0 评论 -
flink 任务提交流程
standalone模式App提交应用给Dispatcher,Dispatcher接受到这个任务后,启动并提交应用JobManager,(一个job就会对应一个jobManager进行管理),jobManager对当前的应用进行分析,解析成一个执行图,可以解析出当前的job有多少个任务,就可以知道有多少个slot来运行,向resourceManager请求,resouceManager启动对应的taskManager,taskManager将自己的slots向ResourceManger进行.原创 2021-01-27 22:41:55 · 366 阅读 · 0 评论 -
Flink_第一篇
今天先做入门,本人也是第一天学习,看以后的时间,教程也有可能太监> 从下至上架构层次安装和部署jdk 我用的是 1.8 scala2.11 安装步骤就不赘述了1.windows安装flink> 下载安装Flink https://www.apache.org/dyn/closer.lua/flink/flink-1.6.4/flink-1.6...原创 2019-03-18 12:06:30 · 395 阅读 · 0 评论