Flink
文章平均质量分 54
Flink学习
人间小鲸鱼
这个作者很懒,什么都没留下…
展开
-
rancher下管理flink
rancher管理flink原创 2021-12-02 10:05:02 · 2360 阅读 · 0 评论 -
flink启动后,中断,异常报错
主要错误信息:org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException.org.apache.flink.runtime.client.JobExecutionException: Job execution failed.org.apache.flink.client.program.ProgramInvocationException: Job failed. (JobID: a7cd7ebac30659c原创 2020-06-22 13:39:04 · 6574 阅读 · 3 评论 -
Kafka Source + Flink+ValueState+scala
kafka作为Flink的source,ValueState完成状态存储flink代码package com.jy.flinkimport java.util.Propertiesimport org.apache.flink.api.common.functions.RichMapFunctionimport org.apache.flink.api.common.serializ...原创 2020-04-16 15:51:16 · 580 阅读 · 2 评论 -
记录:Flink报错
Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/flink/runtime/jobgraph/InputFormatVertexException in thread "main" java.lang.NoClassDefFoundError: org/apache/flink/runtime/jobgr...原创 2020-04-16 15:34:28 · 354 阅读 · 0 评论 -
Flink上传集群报错可能的原因
原因一:版本问题查看pom文件中的依赖版本是否与集群一致,不一致可能报错!org.apache.flink.client.program.ProgramInvocationException: Job failed. (JobID: 47e155c0fadbbb11c20c3b8d00bdcef8) at org.apache.flink.client.program.rest...原创 2020-04-03 14:03:11 · 1998 阅读 · 0 评论 -
Flink的Window(窗口计算)
Window(窗口计算)窗口计算是流计算的核心,通过使用窗口对无限的流数据划分成固定大小的 buckets,然后基于落入同一个bucket(窗口)中的元素执行计算。Flink将窗口计算分为两大类。一类基于keyed-stream窗口计算。stream .keyBy(...) <- 分组 .window(...) <- 必须: "assigner" 窗口分配器 [.trigger(...)]原创 2020-05-16 09:03:45 · 1508 阅读 · 0 评论 -
Flink的操作算子Operator
OperatorDataStream TransformationsDatastream -> DatasteamMapTakes one element and produces one element. A map function that doubles the values of the input stream:dataStream.map { x => x * 2 }FlatMapTakes one element and produces zero, one, o原创 2020-05-15 09:50:34 · 860 阅读 · 0 评论 -
Flink的Data Sink以及自定义Data Sink
Data SinkData sinks负责消费Data Stream的数据,将数据写出到外围系统,例如:文件/网络/NoSQL/RDBMS/Message Queue等。Flink底层也预定义了一些常用的Sinks,同时用户也可以根据实际需求定制Data Sink通过集成SinkFunction或者RichSinkFunction。File Based(测试)writeAsText()|writeAsCsv(…)|writeUsingOutputFormat() at-least-once//1原创 2020-05-15 08:45:38 · 237 阅读 · 0 评论 -
Flink的基本DataSource与自定义DataSource
DataSourceDataSource指定了流计算的输入,用户可以通过StreamExecutionEnvironment.addSource(sourceFunction),Flink已经预先实现了一些DataSource的实现,如果用户需要自定义自己的实现可以通过实现SourceFunction接口(非并行Source)或者ParallelSourceFunction 接口(实现并行Source)或者继承RichParallelSourceFunction .File BasedreadText原创 2020-05-14 10:15:43 · 667 阅读 · 0 评论