flink
zyj_369
曾经的我 一身迷彩 手握钢枪 现在的我 对新科技充满着无限好奇 喜欢专研大数据技术 希望可以和志同道合的人一起加油 一起圆梦
展开
-
flink 中window的开窗开始时间、结束时间讲解
可以看到计算公式如下/** * Method to get the window start for a timestamp. * * @param timestamp epoch millisecond to get the window start. * @param offset The offset which window start would be shifted by. * @param windowSize The size of the generated ...原创 2020-11-08 14:10:36 · 2383 阅读 · 0 评论 -
flink 报错:could not find implicit value for evidence parameter of type 已解决
一、详细报错Error:(42, 74) could not find implicit value for evidence parameter of type org.apache.flink.api.common.typeinfo.TypeInformation[com.jh.appmarketing23.MarketingUserBehavior] val stream: DataStream[MarketingUserBehavior] = environment.addSource(原创 2020-11-06 17:11:29 · 1886 阅读 · 0 评论 -
基于flink 1.11版本 的Watermark机制
一、Watermark前言在使用eventTime的时候如何处理乱序数据?我们知道,流处理从事件产生,到流经source,再到operator,中间是有一个过程和时间的。虽然大部分情况下,流到operator的数据都是按照事件产生的时间顺序来的,但是也不排除由于网络延迟等原因,导致乱序的产生,特别是使用kafka的话,多个分区的数据无法保证有序。所以在进行window计算的时候,我们又不能无限期的等下去,必须要有个机制来保证一个特定的时间后,必须触发window去进行计算了。这个特别的机制,就是water原创 2020-11-05 19:11:41 · 171 阅读 · 0 评论 -
flink报错:Error: Static methods in interface require -target:jvm-1.8 已解决
一、详细报错Error:(55, 92) Static methods in interface require -target:jvm-1.8 .assignTimestampsAndWatermarks(WatermarkStrategy.forBoundedOutOfOrderness[LogEvent](Duration.ofSeconds(2))二、报错原因在flink 1.11版本中使用 WatermarkStrategy 类中的方法时可能会报异常三、解决第一种解决原创 2020-11-05 18:36:20 · 361 阅读 · 0 评论 -
flink1.11报错:java.lang.IllegalStateException: No ExecutorFactory found to execute the application
一、报错信息Exception in thread "main" java.lang.IllegalStateException: No ExecutorFactory found to execute the application. at org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84) at org.apache原创 2020-11-04 19:36:58 · 2525 阅读 · 0 评论 -
flink 安装Standalone高可用模式报错 Could not start cluster entrypoint StandaloneSessionClusterEntrypoint 已解决
一、先来看看详细报错信息:ERROR org.apache.flink.runtime.entrypoint.ClusterEntrypoint - Could not start cluster entrypoint StandaloneSessionClusterEntrypoint.org.apache.flink.runtime.entrypoint.ClusterEntrypointException: Failed to initialize the cluster entr原创 2020-10-28 14:47:45 · 5221 阅读 · 2 评论