Flink
文章平均质量分 69
小明同学YYDS
good good study!day day up!
展开
-
Flink:从业务实践角度聊聊Checkpoint、Savepoint、容错机制和业务升级
接着状态缓存和内存管理后,再聊聊容错机制上文:Flink:从业务实践角度聊聊状态缓存和内存管理多说一句,说实话个人之前研究这部分内容时,有时也会百度,但是很烦的就是,不知道是搜索引擎问题还是大家都喜欢粘贴复制,,,,粘贴复制也就算了,标题好歹统一下吧,可是可是,明明就是找别人的文章粘贴复制的或者直接官网文档粘贴复制,甚至连格式错别字都不管不顾,,,标题好像很牛皮,点进去,文档内容一样,再点下一个,内容一样,再点,还一样,,,搜出来的前几页的,文章标题有点区别,但是居然内容一摸一样,都是官方文档的内容,.原创 2022-01-06 17:48:08 · 3102 阅读 · 11 评论 -
Flink:从业务实践角度聊聊状态缓存和内存管理
本文就是记录些实践结论,不会做深入原理和源码级说明,因为这些,不如去看源码和官方文档,至少官方文档介绍的非常详细,比某些博文缺胳膊少腿、粘贴复制强多了,据我所知,市场上很多关于Flink的参考书大多直接翻译的官方文档官方文档链接附上:https://www.bookstack.cn/read/flink-1.11.1-zh/collapse-2如上是中文翻译版的文档,也有英文版选择和不同版本选择,自行选用本文基于Flink V1.11文章目录Flink状态缓存StateFlink状态缓存Flin.原创 2022-01-05 15:57:21 · 3403 阅读 · 0 评论 -
Flink:调用JPMML机器学习模型
有个需求就是要使用数据分析团队实现好的模型,而且是python的,要求在Flink平台上跑起来提供实时调用模型处理数据文章目录背景JPMML介绍环境准备安装使用步骤示例:决策树分类Iris数据集训练模型并获得PMML文件JAVA工程调用PMML模型总结背景在Flink平台上通过调用现有python实现的模型,进行实时预测处理Flink V1.11Java 1.8Python3jpmmlJPMML介绍预言模型标记语言(Predictive Model Markup Language.原创 2021-12-17 22:26:41 · 4820 阅读 · 2 评论 -
Flink:程序打包与提交任务运行
记录下,同事在自己环境弄,出了一堆问题,搞个wordcount的流计算打包发布搞不通,,,网上资料对于flink版本层次不齐,想想还是记录下个人在1.11.x版本的处理,别在这事上浪费时间对应节点贴上了官网文档位置,最好的文档就是官方文档文章目录环境工程运行逻辑代码pom文件依赖打包插件提交到Flink运行UI界面提交命令行提交提交任务保存一个savepoint从savepoint启动环境maven V3.6.xFlink 1.11.xJDK 1.8Scala 2.11.x 2.12.x都.原创 2021-09-02 17:58:26 · 2531 阅读 · 0 评论 -
Flink:DataStream、TableAPI&SQL技能大赏
概要堆叠式技能大赏,包括Flink的运行架构、DataStream API、TableAPI、CEP、SQL文章目录Flink API技能大赏Flink SQL技能大赏Flink API技能大赏看图自己回忆各个模块并散发式产生各个实际概念和应用方式以及应用场景Flink SQL技能大赏看图自己回忆各个SQL语法并散发式产生各个实际运行流程和应用方式以及应用场景...原创 2021-08-23 18:42:32 · 214 阅读 · 0 评论 -
Flink:ValidationException: Too many fields referenced from an atomic type/Field reference expression
文章目录环境报错发生场景原因解决因为不注意导致的不太直观知道问题原因的报错环境Flink 1.11.xscala 2.xjava8idea报错Exception in thread "main" org.apache.flink.table.api.ValidationException: Field reference expression expected. at org.apache.flink.table.typeutils.FieldInfoUtils.extractFiel原创 2021-08-02 14:03:24 · 1340 阅读 · 0 评论 -
Flink:scala包版本问题:scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection
这几天深入研究flink,并把之前的东西进行复习下,留点笔记这问题还真给我搞脑子,本来是新电脑下载的最新的IDEA,然后导入项目,楞许久跑不起来简短点说,原因:scala版本冲突检查:Flink或Spark引入的jar对应的scala是不是和你环境的scala一致,别一个2.11,一个2.13.Pom文件检查jar的scala版本;项目检查Project Structure>Global Libraries再Project Structure>Modules&g.原创 2021-08-01 23:17:26 · 2753 阅读 · 0 评论