![](https://img-blog.csdnimg.cn/20190918140129601.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Flink
Flink
程序员学习圈
值得去的地方,没有捷径;难走的路,才更值得开始!
展开
-
Flink 作业问题分析和调优实践
摘要:本文主要分享 Flink 的 CheckPoint 机制、反压机制及 Flink 的内存模型。对这3部分内容的熟悉是调优的前提,文章主要从以下几个部分分享: 1. 原理剖析 2. 性能定位 3. 经典场景调优 4. 内存调优 Checkpoint 机制1....转载 2020-06-06 22:25:48 · 722 阅读 · 0 评论 -
Flink 作为现代数据仓库的统一引擎:Hive 集成生产就绪!
在2020年,你的数据仓库和基础设施需要满足哪些需求?我们总结了几下几点:首先,当下的企业正快速转向更实时化的模式,这要求企业具备对线上流式数据进行低延迟处理的能力,以满足实时(real-time)或近实时(near-real-time)的数据分析需求。人们对从数据产生到数据可用之间延迟的容忍度越来越低。曾经几个小时甚至几天的延误不再被接受。用户期待的是几分钟甚至几秒钟的数据端到端体...转载 2020-05-07 22:29:28 · 280 阅读 · 0 评论 -
Flink CEP简介
Table API是流处理和批处理通用的关系型API,Table API可以基于流输入或者批输入来运行而不需要进行任何修改。Table API是SQL语言的超集并专门为Apache Flink设计的,Table API是Scala 和Java语言集成式的API。与常规SQL语言中将查询指定为字符串不同,Table API查询是以Java或Scala中的语言嵌入样式来定义的,具有IDE支持如...原创 2020-05-06 23:51:31 · 307 阅读 · 0 评论 -
Flink的TableAPI与SQL
流式计算分为无状态和有状态两种情况。无状态的计算观察每个独立事件,并根据最后一个事件输出结果。例如,流处理应用程序从传感器接收温度读数,并在温度超过90度时发出警告。有状态的计算则会基于多个事件输出结果。以下是一些例子。 所有类型的窗口。例如,计算过去一小时的平均温度,就是有状态的计算。 所有用于复杂事件处理的状态机。例如,若在一分钟内收到两个相差20度以上的温度读数,则发...原创 2020-05-06 23:11:06 · 289 阅读 · 0 评论 -
状态编程和容错机制
1.Flink中的时间语义 在Flink的流式处理中,会涉及到时间的不同概念,如下图所示: Event Time:是事件创建的时间。它通常由事件中的时间戳描述,例如采集的日志数据中,每一条日志都会记录自己的生成时间,Flink通过时间戳分配器访问事件时间戳。 Ingestion Time:是数据进入Flink的时间。 Processing Time:是每...原创 2020-05-06 22:13:42 · 535 阅读 · 0 评论 -
ProcessFunction API(底层API)
Table API是流处理和批处理通用的关系型API,Table API可以基于流输入或者批输入来运行而不需要进行任何修改。Table API是SQL语言的超集并专门为Apache Flink设计的,Table API是Scala 和Java语言集成式的API。与常规SQL语言中将查询指定为字符串不同,Table API查询是以Java或Scala中的语言嵌入样式来定义的,具有IDE支持如...原创 2020-05-06 21:21:58 · 498 阅读 · 0 评论 -
Flink 的时间语义与Wartermark
Flink-FAQ原创 2019-07-11 17:56:30 · 372 阅读 · 0 评论 -
Flink 中的Window
Table API是流处理和批处理通用的关系型API,Table API可以基于流输入或者批输入来运行而不需要进行任何修改。Table API是SQL语言的超集并专门为Apache Flink设计的,Table API是Scala 和Java语言集成式的API。与常规SQL语言中将查询指定为字符串不同,Table API查询是以Java或Scala中的语言嵌入样式来定义的,具有IDE支持如...原创 2019-07-11 17:53:02 · 231 阅读 · 0 评论 -
实现UDF函数-更细粒度的控制流
1.EventTime的引入 在Flink的流式处理中,绝大部分的业务都会使用eventTime,一般只在eventTime无法使用时,才会被迫使用ProcessingTime或者IngestionTime。如果要使用EventTime,那么需要引入EventTime的时间属性,引入方式如下所示:val env = StreamExecutionEnvironment.getE...原创 2019-07-11 15:22:52 · 509 阅读 · 0 评论 -
Flink 支持的数据类型
1.Time 在Flink的流式处理中,会涉及到时间的不同概念,如下图所示: Event Time:是事件创建的时间。它通常由事件中的时间戳描述,例如采集的日志数据中,每一条日志都会记录自己的生成时间,Flink通过时间戳分配器访问事件时间戳。 Ingestion Time:是数据进入Flink的时间。 Processing Time:是每一个执行基于时...原创 2019-07-10 20:16:35 · 912 阅读 · 0 评论 -
Flink 流处理的API(Environment,Source,Transform,Sink)
1.Environment1.1getExecutionEnvironment 创建一个执行环境,表示当前执行程序的上下文。 如果程序是独立调用的,则此方法返回本地执行环境;如果从命令行客户端调用程序以提交到集群,则此方法返回此集群的执行环境,也就是说,getExecutionEnvironment会根据查询运行的方式决定返回什么样的运行环境,是最常用的一种创建执行环境的方式。...原创 2019-07-10 15:30:01 · 1444 阅读 · 0 评论 -
Flink 运行架构
1.任务提交流程(yarn模式) Flink任务提交后,Client向HDFS上传Flink的Jar包和配置,之后向Yarn ResourceManager提交任务,ResourceManager分配Container资源并通知对应的NodeManager启动ApplicationMaster,ApplicationMaster启动后加载Flink的Jar包和配置构建环境,然后启动J...原创 2019-07-09 20:13:15 · 4707 阅读 · 0 评论 -
Flink 部署安装
前言 Flink三种运行方式:Local、Standalone、Yarn(相当于yarn-cluster)。Local模式很简单,再这里不在介绍,下面着中介绍一下Standalon和On Yarn模式。1.standalone模式1.1 安装• 将本地文件上传到Linux服务器:luomingkuideMacBook-Pro:Downloads luomingk...原创 2019-07-08 00:35:05 · 435 阅读 · 0 评论 -
Flink 的HelloWorld
1.Flink读取Text文件,实现Word Count示例package com.mkluo.flinkimport org.apache.flink.api.scala.ExecutionEnvironment/** * @author luomingkui * @date 2019/7/7 下午2:44 * @desc 批处理的WorldCount */obje...原创 2019-07-07 15:52:37 · 866 阅读 · 0 评论 -
Flink 简单介绍
1.Flink的引入 这几年大数据的飞速发展,出现了很多热门的开源社区,其中著名的有 Hadoop、Storm,以及后来的 Spark,他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河,也以内存为赌注,赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身影。就像 Flink,也就在这个时候默默的发展着。 在国外一些社区,有很多人将大数...原创 2019-07-07 00:35:09 · 747 阅读 · 0 评论 -
Flink 学习资料
1.官方文档 https://flink.apache.org/2.优秀博客 3.推荐书籍4.代码示例原创 2019-07-06 23:37:29 · 336 阅读 · 0 评论