![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
文章平均质量分 76
安然烟火
如果人没有理想,那和咸鱼有什么区别呢?
展开
-
flink-addSource和addSink分别是kafka、自定义数据、mysql、hbase的java实现
flink主程序public class FinkTest { public static void main(String[] args) throws Exception{ StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.setStreamTimeCharacteristic(TimeCharacteristic.Ingesti原创 2021-05-25 10:07:49 · 4355 阅读 · 0 评论 -
Flink-windows10测试环境配置
1.JDK安装安装(不会请百度)—版本在1.8及之上(如果有多版本的话,在path中将JAVA_HOME放在最前面)2.Scala安装下载地址:https://www.scala-lang.org/download/环境变量的配置新增环境变量: SCALA_HOME3.Flink的下载(JDK1.8及之上)下载地址: https://flink.apache.org/downloads.html此处使用版本的是1.9.1下载后直接解压可使用;进入解压目录的bin目录,运行start-cl原创 2021-02-07 10:31:57 · 1071 阅读 · 0 评论 -
Flink-kafka数据到mysql
pom比较多取自己需要的<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <spring-boot-version>2.1.3.RELEASE</spring-boot-version> <java-version>1.8</java-version> <scala-version>2.11.原创 2021-02-02 20:34:29 · 646 阅读 · 0 评论 -
Flink-flink原理解读
1 Task和subtask1.1 概念Task(任务):Task 是一个阶段多个功能相同 subTask 的集合,类似于 Spark 中的 TaskSet。subTask(子任务):subTask 是 Flink 中任务最小执行单元,是一个 Java 类的实例,这个 Java 类中有属性和方法,完成具体的计算逻辑。Operator Chains(算子链):没有 shuffle 的多个算子合并在一个 subTask 中,就形成了 Operator Chains,类似于 Spark 中的原创 2021-01-28 19:11:45 · 1237 阅读 · 0 评论 -
Flink-watermark
1 基本概念Flink中可以让window延迟触发的一种机制我们知道,流处理从事件产⽣,到流经source,再到operator,中间是有⼀个过程和时间的,虽然⼤部分情况下,流到operato的数据都是按照事件产⽣的时间顺序来的,但是也不排除由于⽹络、背压等原因,导致乱序的产⽣,所谓乱序,就是指Flink接收到的事件的先后顺序不是严格按照事件的Event Time顺序排列的。那么此时出现⼀个问题,⼀旦出现乱序,如果只根据eventTime决定window的运⾏,我们不能明确数据是否全部到位,但⼜不能原创 2021-01-28 17:53:02 · 211 阅读 · 0 评论 -
Flink-Window
streaming流式计算是⼀种被设计用于处理⽆限数据集的数据处理引擎,而⽆限数据集是指一种不断增长的本质上无限数据集,⽽window是一种切割无限数据为有限块进行处理的手段。Window是无限数据流处理的核心,Window将⼀个⽆限stream拆分成有限大小的”buckets”桶,我们可以在这些桶上做计算操作。1.Time(Flink中涉及的时间)Event Time:是事件创建的时间。它通常由事件中的时间戳描述,例如采集的日志数据中,每⼀条⽇志都会记录⾃己的生成时间,Flink通过时间戳分配器访原创 2021-01-28 17:10:21 · 406 阅读 · 0 评论 -
Flink-入门编程及算子介绍
编程模型Flink提供了不同级别的编程抽象,通过调用抽象的数据集调用算子构建DataFlow就可以实现对分布式的数据进行流式计算和离线计算,DataSet是批处理的抽象数据集,DataStream是流式计算的抽象数据集,他们的方法都分别为Source、Transformation、SinkSource主要负责数据的读取Transformation主要负责对数据的转换操作Sink负责最终计算好的结果数据输出。DataStream实时wordcountpackage com.wedoctor.原创 2021-01-28 16:22:14 · 374 阅读 · 0 评论 -
Flink-安装部署及部署模式介绍
Flink支持三大部署模式:1. Local 本地部署Flink 可以运行在 Linux、Mac OS X 和 Windows 上。本地模式的安装唯一需要的只是Java 1.7.x或更高版本,本地运行会启动Single JVM,主要用于测试调试代码。2. Standalone Cluster集群部署Flink自带了集群模式Standalone,这个模式对软件有些要求:1.安装Java1.8或者更高版本2.集群各个节点需要ssh免密登录3. Flink ON YARNFlink ON YAR原创 2021-01-27 15:32:24 · 5585 阅读 · 0 评论 -
Flink-了解flink
一 flink简介1.1 什么是flinkApache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序,Flink的流水线运行时系统可以执行批处理和流处理程序。此外,Flink的运行时本身也支持迭代算法的执行。1.2 flink特点批流统一支持高吞吐、低延迟、高性能的流处支持带有事件时间的窗口(Window)操作支持有状态计算的Exactly-once语义支持高度灵活的窗原创 2021-01-27 09:33:10 · 675 阅读 · 0 评论