Flink深度解析
文章平均质量分 75
王知无(import_bigdata)
微信搜:import_bigdata
GitHub搜:https://github.com/wangzhiwubigdata/God-Of-BigData
展开
-
Apache-Flink深度解析-DataStream-Connectors之Kafka
Kafka 简介Apache Kafka是一个分布式发布-订阅消息传递系统。 它最初由LinkedIn公司开发,LinkedIn于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka用于构建实时数据管道和流式应用程序。它具有水平扩展性、容错性、极快的速度,目前也得到了广泛的应用。Kafka不但是分布式消息系统而且也支持流式计算,所以在介绍Kafka在Apache F...转载 2019-03-19 23:56:21 · 763 阅读 · 0 评论 -
Flink原理与实现:如何生成ExecutionGraph及物理执行图
ExecutionGraph生成过程StreamGraph和JobGraph都是在client生成的,这篇文章将描述如何生成ExecutionGraph以及物理执行图。同时会讲解一个作业提交后如何被调度和执行。client生成JobGraph之后,就通过submitJob提交至JobMaster。在其构造函数中,会生成ExecutionGraph: this.executionGra......原创 2019-04-21 11:38:50 · 2445 阅读 · 0 评论 -
Flink原理与实现:Window的实现原理
在阅读本文之前,请先阅读Flink 原理与实现:Window机制,这篇文章从用户的角度,对Window做了比较详细的分析,而本文主要是从Flink框架的实现层面,对Window做另一个角度的分析。首先看一个比较简单的情况,假设我们在一个KeyedStream上做了一个10秒钟的tumbling processing time window,也就是说,每隔10秒钟窗口会触发一次,即: dat......原创 2019-04-21 11:37:39 · 1094 阅读 · 0 评论 -
Flink原理与实现:详解Flink中的状态管理
Flink原理与实现系列文章 :Flink 原理与实现:架构和拓扑概览Flink 原理与实现:如何生成 StreamGraphFlink 原理与实现:如何生成 JobGraphFlink原理与实现:如何生成ExecutionGraph及物理执行图Flink原理与实现:Operator Chain原理上面Flink原理与实现的文章中,有引用word count的例子,但是都没有包含状态管理。也......原创 2019-04-21 11:35:56 · 795 阅读 · 0 评论 -
Flink原理与实现:详解Flink中的状态管理
Flink原理与实现系列文章 :Flink 原理与实现:架构和拓扑概览Flink 原理与实现:如何生成 StreamGraphFlink 原理与实现:如何生成 JobGraphFlink原理与实现:如何生成ExecutionGraph及物理执行图Flink原理与实现:Operator Ch...原创 2019-04-21 11:31:42 · 962 阅读 · 0 评论 -
Flink读取kafka数据并写入HDFS
flink的官网对于写入HDFS的例子比较简单,很难跑起来,缺少更详细的描述。目标: 本地代码flink streaming读取远程环境的kafka的数据,写入远程环境的HDFS中;核心代码:public static void main(String[] args) throws Exception { // set up the streaming execution......原创 2019-03-31 23:27:29 · 7009 阅读 · 1 评论 -
Flink基于Kafka-Connector 数据流容错回放机制
转载自:https://blog.csdn.net/shenshouniu/article/details/84558874欢迎加入大数据学习群:**Flink学习视频:**http://edu.51cto.com/sd/88e071 Kafka-connector 再次亲密牵手FlinkKafka中的partition机制和Flink的并行度机制深度结合,实现数据恢复。Kafka可......原创 2019-01-21 22:35:00 · 1291 阅读 · 0 评论 -
Flink Window分析及Watermark解决乱序数据机制深入剖析
转载自:https://blog.csdn.net/shenshouniu/article/details/84558874欢迎加入大数据学习群:**Flink学习视频:**http://edu.51cto.com/sd/88e07本文决心讲清楚这个纠结的水印Watermark问题,Come on !1 The Time针对stream数据中的时间,可以分为以下三种:Event ......原创 2019-01-21 22:57:23 · 898 阅读 · 1 评论 -
Flink 状态管理与checkPoint数据容错机制
转载自:https://blog.csdn.net/shenshouniu/article/details/84558874欢迎加入大数据学习群:**Flink学习视频:**http://edu.51cto.com/sd/88e07 版权声明:本套技术专栏是作者(秦凯新)平时工作的总结和升华,通过从真实商业环境抽取案例进行总结和分享,并给出商业......原创 2019-01-21 22:59:44 · 780 阅读 · 0 评论 -
Flink Broadcast 广播变量应用案例实战
转载自:https://blog.csdn.net/shenshouniu/article/details/84558874欢迎加入大数据学习群:**Flink学习视频:**http://edu.51cto.com/sd/88e071.1 Broadcast 真假曹操DataStreaming Broadcast (元素广播):元素广播,重复处理把元素广播给所有的分区,数据会被......原创 2019-01-21 22:54:35 · 5743 阅读 · 0 评论 -
Apache-Flink深度解析-概述
转载自:https://dwz.cn/xrMCqbk5你可能感兴趣的文章:1-Flink入门2-本地环境搭...转载 2019-03-12 13:27:19 · 462 阅读 · 0 评论 -
Flink-Hbase
现在有这样一个场景,我们需要将hbase做成一个数据流,而不是数据集。根据Flink自带的Flink-Hbase只能帮我们做到数据集,所以这个时候选择了重写Hbase的数据源。package com.yjp.flink.demo11;import org.apache.flink.streaming.api.functions.source.SourceFunction;import or......原创 2019-03-19 20:50:26 · 893 阅读 · 0 评论 -
Flink动态表
阿里的一篇文章,可以先看看会对动态表有一个模糊的概念动态表就是一个根据流在动态变化的表。从阿里的例子可以看出,当一个表Stream发生改变的时候,就会引起Keyed Table这张表的一个动态变化,表Stream是一个无法撤回的表,Stream表是只能不停增加的一张表,但是Keyed Table 会根据Stream中数据的增长的变化来修改自己count出来的值,随着count值的改变就会使得以c......原创 2019-03-19 20:54:17 · 495 阅读 · 0 评论 -
Flink反压
流处理系统需要能优雅地处理反压(backpressure)问题。反压通常产生于这样的场景:短时负载高峰导致系统接收数据的速率远高于它处理数据的速率。许多日常问题都会导致反压,例如,垃圾回收停顿可能会导致流入的数据快速堆积,或者遇到大促或秒杀活动导致流量陡增。反压如果不能得到正确的处理,可能会导致资源耗尽甚至系统崩溃。目前主流的流处理系统 Storm/JStorm/Spark Streaming/......原创 2019-03-19 20:57:43 · 641 阅读 · 0 评论 -
Flink Table&SQL
连接kafkaimport com.tc.flink.conf.KafkaConfig;import org.apache.flink.api.common.typeinfo.Types;import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;import org.apache.flink.t...原创 2019-03-19 22:05:40 · 492 阅读 · 0 评论 -
Flink 原理与实现:Operator Chain原理
Flink的逻辑/执行计划优化,有一个很大的特点就是,会将多个operator,串在一起作为一个operator chain来执行。关于operator chain,在 Flink 原理与实现:理解 Flink 中的计算资源 中已经有了初步的介绍,在阅读本文之前,建议先阅读上文。本文将从源码上进一步分析,探究operator chain内部是如何实现的。OperatorChain是在Strea......原创 2019-04-21 11:40:05 · 3570 阅读 · 0 评论