![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
catkint
这个作者很懒,什么都没留下…
展开
-
Flink随数据流动的四种StreamElement简述
Flink为了完成不同的任务,在DataStream中流动的不止是我们的业务数据StreamRecord,还有其余三种标记,分别是Watermark,StreamStatus,LatencyMarker。这四个类继承自StreamElement。(注:有些人可能有疑惑,checkpoint barrier不是插入了数据流中吗?是的,checkpoint barrier也是随着数据流动,但是它不...原创 2020-03-16 01:59:29 · 1315 阅读 · 0 评论 -
Flink 修改时区负时间偏移量报错 TumblingEventTimeWindows parameters must satisfy 解决方法
报错: java.lang.IllegalArgumentException: TumblingEventTimeWindows parameters must satisfy 0 <= offset < size由于Flink默认窗口时区是UTC-0,其他地区需要指定时间偏移量调整时区,在Flink某些低版本中(例如1.6.2等),官方文档更新不及时,使用负时间偏移量Tumb...原创 2019-07-07 22:02:01 · 2846 阅读 · 0 评论 -
FlinkML 多元线性回归例子及训练参数提取
本文使用FlinkML机器学习库中的多元线性回归算法实现一个小demo。一、构造训练集LabeledVector按照文档中的步骤,我们首先构造一个LabeledVectorLabeledVector表示(label, features) labe:分类问题中的类,也可以是回归问题中的因变量 features:样本特征代码如下:val env = E...原创 2019-07-08 22:01:46 · 2377 阅读 · 0 评论 -
Flink DataSet 工具类 DataSetUtils 常用API
DataSetUtils类提供了一些生成index和数据采样和分析的方法,包括countElementsPerPartition、zipWithIndex、zipWithUniqueId、sample、sampleWithSize、summarize等。首先构造输入数据DataSet<Tuple2<Integer,String>> input = env.fro...原创 2019-08-04 22:52:45 · 1085 阅读 · 0 评论