- 博客(7)
- 收藏
- 关注
RSS订阅原创 七、Flink的状态管理以及状态编程
状态管理与状态编程文章目录状态管理与状态编程一、状态管理二、使用步骤1.引入库2.读入数据总结一、状态管理flink中的状态分为两大类：（1）managered State ： 被flink所管理维护的状态，可以直接使用。（常用） ①算子状态。（Operator State） ②键控状态。（Keyed State）（2）raw State：不被flink所管理，可以自己指定。比较复杂，控制底层逻辑可以使用。状态与算子所绑定。算子不会跨任务访问其他算子的状态。示例：pandas 是
2021-01-03 18:34:04
212
原创 六、Flink之时间语义和水位线
水位线一、时间语义二、水位线1.引入库2.读入数据总结一、时间语义二、水位线1.引入库代码如下（示例）：import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport seaborn as snsimport warningswarnings.filterwarnings('ignore')import sslssl._create_default_https_context = ssl._c
2021-01-03 18:33:26
659
原创 五、ProcessFunction之类函数相关总结以及SideOutput（侧输出）
处理函数一、处理函数是什么？二、为什么需要使用处理函数？三、处理函数如何使用？1、处理函数的种类：1.1、ProcessFunction1.2、CoProcessFunction1.3、KeyedProcessFunction1.4、ProcessWindowFunction四、SideOutput（侧输出）一、处理函数是什么？由代码理解，基本上与process（单词）相关的函数都叫处理函数。高级的转换流函数，可以实现对数据进行更精确的处理的函数，有些可以获得暴露出的时间戳和水位线。二、为什么需要
2021-01-03 18:32:51
559
原创 四、富函数和窗口操作
富函数 and 窗口操作符一、富函数二、窗口操作符1、窗口的类型：2、滚动窗口（Tumbling Windows）3、滑动窗口（Sliding Windows）3、会话窗口（Session window）4、window API以及注意5、窗口聚合函数一、富函数富函数：相当于常规转换函数的扩展。一般rich + 常规函数就是该常规函数所对应的富函数。富函数与常规函数的区别。富函数中多了两个方法： @Override public void open(Configuration parame
2020-12-07 20:51:13
165
原创 三、Flink常用的转换算子
Flink常用转换算子常用转换算子类型一、基本转换算子1、map2、filter3、flatMap二、键控流转换算子1、keyBy：分组聚合，类似spark的groupByKey算子，将相同的key存到同一个分区中。2、 滚动聚合算子：由KeyedStream对象来调用，也就是需要用在keyBy之后。三、多流转换算子1、union：将多条流数据合并到一条流中2、connect：将两条流数据合并到一条流中三、分布式转换算子1、随机将数据打散到不同的分区（Random）2、轮询的将数据分配到不同的分区（Roun
2020-12-04 20:25:14
1020
原创 二、Flink运行架构
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、pandas是什么？示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。二、使用步骤1.引入库代码
2020-12-03 16:39:40
244
原创 一、Flink简述
Flink个人理解一、Flink简介1、Flink是什么功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入一、Flink简介1、Flink是什么我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown
2020-12-03 16:35:09
374
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人