![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
文章平均质量分 56
奔跑的前浪
看红尘冉冉,须臾之间,参遍昙华演变。问法珠玄玄,方寸有变,听尽默剑说禅
展开
-
【Flink Rest-ful API 】
Flink 有了一些查询job状态指标的API,这些监控API is a REST-ful API 接受 HTTP 请求并返回JSON data ;这些监控API以jobManager中web server 为基础,默认其监听端口为8081,当然你可以在flink-conf.yaml配置中通过rest.port 自定义其端口,下面我们就对其REST-ful API 进行尝试。 一:Flink 上传jar包REST-ful API PO...原创 2021-03-31 17:05:24 · 1459 阅读 · 0 评论 -
【Flink】Flink的分区策略及源码分析
一:Flink的分区策略 在Flink的应用中,每个算子都可以设置并行度,比如上游的Map算子的并行度为3,而下游filter的算子并行度为4,那当上下游算子并行度不一致的情况下,flink怎么传递数据呢,这就涉及到Flink的分区策略二:Flink的分区关键类源码分析Flink 中分区策略中有一个抽象类StreamPartitioner,源码如下:public abstract class StreamPartitioner<T> implements Chan...原创 2020-11-30 16:54:21 · 1016 阅读 · 0 评论 -
【Flink】Flink链化条件及源码分析
一:FLINK的链化优势 Flink 中的每个算子都可以设置并行度,每个算子的一个并行度实例就是一个 subTask。由于 Flink 的 TaskManager 运行 Task 的时候是每个 Task 采用一个单独的线程,这会带来很多线程切换和数据交换的开销,进而影响吞吐量。为了避免数据在网络或线程之间传输导致的开销,Flink 会在 JobGraph 阶段,将代码中可以优化的算子优化成一个算子链(Operator Chains)以放到一个 Task 中执行。二:链化的API层操作 ...原创 2020-11-30 15:13:00 · 494 阅读 · 0 评论 -
FlinkSql 读取kafka sink到mysql 案例
public static void main(String[] args) { StreamExecutionEnvironment bsEnv = StreamExecutionEnvironment.getExecutionEnvironment(); bsEnv.setStreamTimeCharacteristic(TimeCharacterist...原创 2019-11-27 15:36:18 · 1921 阅读 · 1 评论 -
Cannot instantiate user function.
Caused by: org.apache.flink.streaming.runtime.tasks.StreamTaskException: Cannot instantiate user function. at org.apache.flink.streaming.api.graph.StreamConfig.getStreamOperatorFactory(StreamConfi...原创 2019-09-26 16:54:46 · 6161 阅读 · 0 评论 -
Flink时间窗口代码分析
本代码分析以TumblingEventTimeWindows 为例,若有疏忽,请包涵。第一步 在TumblingEventTimeWindows 类中调用assignWindows()方法。public Collection<TimeWindow> assignWindows(Object element, long timestamp, WindowAssignerConte...原创 2019-08-16 15:23:18 · 2161 阅读 · 0 评论 -
Flink之四 容错机制
Flink流处理的容错机制 批处理系统比较容易实现容错机制,由于文件可以重复访问,当某个任务失败后,重启该任务即可。但是在流处理系统中,由于数据源是无限的数据流,一个流处理任务甚至可能会执行几个月,将所有数据缓存或是持久化,留待以后重复访问基本上是不可行的。Flink基于分布式快照与可部分重发的数据源实现了容错,用户可自定义对整个Job进行快照的时间间隔,当出现任务失败时,转载 2017-02-04 16:15:24 · 1533 阅读 · 0 评论 -
Flink之三 flink on yarn
Flink的运行模式 flink的运行模式有local模式,cluster,yarn等模式;flink集群层次结构 这一节我们主要一起了解flink on yarn 模式,flink on yarn 有两种模式: 一:long-running Flink cluster on YARN 二 : run a Flink job on YARN转载 2017-02-04 13:35:28 · 3078 阅读 · 1 评论 -
Flink之二 Flink安装及入门案例
Flink安装、作业提交案例原创 2017-02-03 14:26:27 · 7914 阅读 · 2 评论