flink
Daivei_lai
这个作者很懒,什么都没留下…
展开
-
flink学习(五)
学习目标就是flink-SQL 开发1.背景Flink SQL 是 Flink 实时计算为简化计算模型,降低用户使用实时计算门槛而设计的 一套符合标准 SQL 语义的开发语言。 自 2015 年开始,阿里巴巴开始调研开源流计算引擎,最终决定基于 Flink 打造新一 代计算引擎,针对 Flink 存在的不足进行优化和改进,并且在 2019 年初将最终代码开源, 也就是我们熟知的 Blink。Blink 在原来的 Flink 基础上最显著的一个贡献就是 Flink SQL 的实现。Flink SQL原创 2020-09-18 09:58:22 · 321 阅读 · 0 评论 -
flink学习(四)
学习目标1.Time与window2.EventTime与window3.Flink的容错(checkpoint)4.Flink的状态管理 state1.Time与window1.1TimeEvent Time: 数据产生的时间Ingestion Time: 是数据进入 Flink 的时间。Processing Time :算子操作使用的时间1.2windowWindow 可以分成两类:CountWindow: 按照指定的数据条数生成一个 Window, 与时间无关。TimeWi原创 2020-09-18 08:39:19 · 356 阅读 · 0 评论 -
flink学习(三)
学习目标1.入门案例(掌握)2.DataStream的输入数据集source(掌握)3.DataStream的Transformation(掌握)4.DataStream数据输出sink(掌握)1.入门案例def main(args: Array[String]): Unit = { /** * 实现思路: * 1. 获取流处理运行环境 * 2. 构建socket流数据源, 并指定IP地址和端口号 * 3. 对接收到的数据转换成单词元组原创 2020-09-18 08:29:45 · 258 阅读 · 0 评论 -
flink学习(二)
学习目标1.入门案例(掌握)2.输入数据集DataSource(掌握)3.DataSet的Transformation(掌握)4.数据的输出DataSink(掌握)5.Flink的广播变量(掌握)6.Flink的分布式缓存(掌握)7.Flink的累加器(了解)1.入门案例/** * 单词统计,入门案例 */object BatchWordCount { def main(args: Array[String]): Unit = { //1.创建批处理执行环境 va原创 2020-09-18 08:21:21 · 292 阅读 · 0 评论 -
flink学习(一)
前言:之前学习flink时没有系统性的复习,现在不多BB就是为了复习flink(从头再来)1.1flink的引入计算引擎分为几代有些争议,这里我选择的是四代第一代计算引擎,MapReduce (首先第一代的计算引擎,无疑就是 Hadoop 承载的 MapReduce,它将计算分为两个阶段,分别为 Map 和 Reduce)第二代计算引擎 ,tez+Oozie(特点:批处理 1 个 Tez = MR(1) + MR(2) + … + MR(n),相比 MR 效率有所提升)第三代计算引擎 ,spark原创 2020-09-11 21:50:51 · 242 阅读 · 0 评论