flink
文章平均质量分 73
mtj66
这个作者很懒,什么都没留下…
展开
-
实时场景下的机器学习模型实时特征离线特征融合方案(踩坑笔记)
实时场景下的机器学习模型实时特征离线特征融合方案(踩坑指南)原创 2021-12-09 18:07:20 · 4342 阅读 · 0 评论 -
flinksql做近实时特征处理的坑
flinksql做近实时特征处理的坑,以及解决方案。原创 2021-12-10 15:11:00 · 3814 阅读 · 2 评论 -
Flink Sql双流join-回撤机制导致数据重复
数据源:kafka topic数据类型为json业务场景:解析json,由于数据层级比较深,而且包含数组,此处键值可能为空所以数据就变成了双流join,甚至是多流join。问题原因:采用left join导致数据回撤,然后同一个主键数据产生重复是采用inner join 还是 outer join,具体区别见Flink Sql教程(5)_狄杰的博客-CSDN博客_connector.startup-mode由于此处关联可能存在键值为空匹配不到的情况,采用了很多left join,..原创 2021-10-12 13:56:16 · 2946 阅读 · 0 评论 -
Neither the HADOOP_CONF_DIR nor the YARN_CONF_DIR environment variable is set. The Flink YARN Client
Neither the HADOOP_CONF_DIR nor the YARN_CONF_DIR environment variable is set. The Flink YARN Client needs one of these to be set to properly load the Hadoop configuration for accessing YARN.Ple原创 2017-05-25 09:53:09 · 6995 阅读 · 1 评论 -
flink 隐式转换
程序在IDEA中没有报错,但是在编译后报错Error:(32, 38) could not find implicit value for evidence parameter of type org.apache.flink.api.common.typeinfo.TypeInformation[com.zhongan.bigdatalab.PageRank.Page]Error ...原创 2019-02-22 16:33:24 · 2373 阅读 · 0 评论