Flink
吃胖点儿
“学会求知,学会做事,学会共处,学会做人。”致自己共勉 。技术探讨可以加281954986
展开
-
如何实时监控 Flink 集群和作业?
Flink 相关的组件和作业的稳定性通常是比较关键的,所以得需要对它们进行监控,如果有异常,则需要及时告警通知。本章先会教会教会大家如何利用现有 Flink UI 上面的信息去发现和排查问题,会指明一些比较重要和我们非常关心的指标,通过这些指标我们能够立马定位到问题的根本原因。接着笔者会教大家如何去利用现有的 Metrics Reporter 去构建一个 Flink 的监控系统,它可以收集到所有作业的监控指标,并会存储这些监控指标数据,最后还会有一个监控大盘做数据可视化,通过这个大盘可以方便排查问题。实原创 2020-05-11 17:18:55 · 1473 阅读 · 0 评论 -
Apache Flink在滴滴的应用与实践
Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态计算。可部署在各种集群环境,对各种大小的数据规模进行快速计算。滴滴基于 Apache Flink 做了大量的优化,也增加了更多的功能,比如扩展 DDL、内置消息格式解析、扩展 UDX 等,使得 Flink 能够在滴滴的业务场景中发挥更大的作用主要内容包括: 服务...原创 2020-05-06 10:22:56 · 214 阅读 · 0 评论 -
10.Flink之Runtime 核心机制剖析
Apache Flink 进阶教程(一):Runtime 核心机制剖析Posted by高赟(云骞)2019年9月16日1. 综述本文主要介绍 Flink Runtime 的作业执行的核心机制。本文将首先介绍 Flink Runtime 的整体架构以及 Job 的基本执行流程,然后介绍在这个过程,Flink 是怎么进行资源管理、作业调度以及错误恢复的。最后,本文还将简要介绍 ...原创 2020-04-29 17:16:48 · 161 阅读 · 0 评论 -
9.Flink之Flink SQL 编程实践
Apache Flink 零基础入门(九):Flink SQL 编程实践Posted by伍翀(云邪)2019年8月26日伍翀(云邪)Apache Flink Committer,阿里巴巴 SQL 引擎技术专家北京理工大学硕士毕业,2015 年加入阿里巴巴,参与阿里巴巴实时计算引擎 JStorm 的开发与设计。2016 年开始从事阿里新一代实时计算引擎 Blink SQL...原创 2020-04-29 15:57:01 · 456 阅读 · 0 评论 -
18.Flink之Flink Connector
如何正确使用 Flink Connector?Posted by董亭亭2019年9月03日董亭亭快手 实时计算引擎团队负责人董亭亭,快手大数据架构实时计算引擎团队负责人。目前负责Flink引擎在快手内的研发、应用以及周边子系统建设。2013年毕业于大连理工大学,曾就职于奇虎360、58集团。主要研究领域包括:分布式计算、调度系统、分布式存储等系统。本文主要分享 Fl...原创 2020-05-09 15:25:48 · 371 阅读 · 0 评论 -
17.Flink之详解 Metrics 原理与实战
Apache Flink 进阶教程(八):详解 Metrics 原理与实战2019年12月17日作者 | 刘彪整理 | 毛鹤本文由 Apache Flink Contributor 刘彪分享,本文对两大问题进行了详细的介绍,即什么是 Metrics、如何使用 Metrics,并对 Metrics 监控实战进行解释说明。什么是 Metrics?Flink 提供的 Metric...原创 2020-05-09 15:24:56 · 390 阅读 · 0 评论 -
16.Flink之网络流控及反压剖析
Apache Flink 进阶教程(七):网络流控及反压剖析2019年12月17日作者 | 张俊整理 | 张友亮(Apache Flink 社区志愿者)本文根据 Apache Flink 系列直播整理而成,由 Apache Flink Contributor、OPPO 大数据平台研发负责人张俊老师分享。主要内容如下: 网络流控的概念与背景 TCP的流控机制 ...原创 2020-05-09 15:24:04 · 222 阅读 · 0 评论 -
15.Flink之Flink 作业执行深度解析
Apache Flink 进阶教程(六):Flink 作业执行深度解析2019年12月13日作者 | 岳猛整理 | 毛鹤本文根据 Apache Flink 系列直播课程整理而成,由 Apache Flink Contributor、网易云音乐实时计算平台研发工程师岳猛分享。主要分享内容为 Flink Job 执行作业的流程,文章将从两个方面进行分享:一是如何从 Program 到物...原创 2020-05-02 20:36:20 · 252 阅读 · 0 评论 -
14.Flink之数据类型和序列化五星
Apache Flink 进阶教程(五):数据类型和序列化2019年12月13日作者 | 马庆祥整理 | 毛鹤本文根据 Apache Flink 系列直播整理而成,由 Apache Flink Contributor、360 数据开发高级工程师马庆祥老师分享。文章主要从如何为 Flink 量身定制的序列化框架、Flink 序列化的最佳实践、Flink 通信层的序列化以及问答环节四部...原创 2020-05-02 21:03:42 · 196 阅读 · 0 评论 -
13.Flink之Flink on Yarn/K8s 原理剖析及实践
Apache Flink 进阶教程(四):Flink on Yarn/K8s 原理剖析及实践2019年12月12日作者 |周凯波(宝牛)整理 | 毛鹤本文主要介绍 Flink on Yarn/K8s 的原理及应用实践,文章将从 Flink 架构、Flink on Yarn 原理及实践、Flink on Kubernetes 原理剖析三部分内容进行分享并对 Flink on Ya...原创 2020-04-30 14:53:27 · 987 阅读 · 0 评论 -
12.Flink之Checkpoint 的应用实践
Apache Flink 进阶教程(三):Checkpoint 的应用实践2019年12月12日作者 |唐云(茶干)大家好,今天我将跟大家分享一下 Flink 里面的 Checkpoint,共分为四个部分。首先讲一下 Checkpoint 与 state 的关系,然后介绍什么是 state,第三部分介绍如何在 Flink 中使用state,第四部分则介绍 Checkpoint 的执...原创 2020-04-30 14:52:32 · 231 阅读 · 0 评论 -
11.Flink之Time 深度解析
Apache Flink 进阶教程(二):Time 深度解析Posted by崔星灿2019年9月17日作者 | 崔星灿整理 | 沙晟阳(成阳)前言Flink 的 API 大体上可以划分为三个层次:处于最底层的 ProcessFunction、中间一层的 DataStream API 和最上层的 SQL/Table API,这三层中的每一层都非常依赖于时间属性。时间属性是流处...原创 2020-04-30 11:16:06 · 155 阅读 · 0 评论 -
8.Flink之Table API 编程
Apache Flink 零基础入门(八):Table API 编程Posted by程鹤群(军长)2019年8月22日作者:程鹤群(军长)校对:贺小令(晓令)本文主要包含三部分:第一部分,主要介绍什么是 Table API,从概念角度进行分析,让大家有一个感性的认识;第二部分,从代码的层面介绍怎么使用 Table API;第三部分,介绍 Table API 近期的动态。文章结构...原创 2020-04-29 15:30:58 · 377 阅读 · 0 评论 -
7.Flink之状态管理及容错机制
Apache Flink 零基础入门(七):状态管理及容错机制Posted by孙梦瑶2019年8月22日作者:孙梦瑶整理:韩非校对:邱从贤(山智)本文主要分享内容如下: 状态管理的基本概念; 状态的类型与使用示例; 容错机制与故障恢复。 一. 状态管理的基本概念1.什么是状态首先举一个无状态计算的例子:消费延迟计算。假设现在有一个...原创 2020-04-28 19:47:47 · 245 阅读 · 0 评论 -
6.Flink之Time & Window 解析
Apache Flink 零基础入门(六):Flink Time & Window 解析Posted by作者:邱从贤(山智)2019年8月06日一、Window & Time 介绍Apache Flink(以下简称 Flink) 是一个天然支持无限流数据处理的分布式计算框架,在 Flink 中 Window 可以将无限流切分成有限流,是处理有限流的核心组件,现在...原创 2020-04-27 17:00:46 · 131 阅读 · 0 评论 -
5.Flink之客户端操作
Apache Flink 零基础入门(五):客户端操作2019年8月05日转存失败重新上传取消周凯波(宝牛)阿里巴巴技术专家阿里巴巴技术专家,四川大学硕士,2010年毕业后加入阿里搜索事业部,从事搜索离线平台的研发工作,参与将搜索后台数据处理架构从MapReduce到Flink的重构。目前在阿里计算平台事业部,专注于基于Flink的一站式计算平台的建设。1. 环境说明...原创 2020-04-27 10:38:08 · 938 阅读 · 0 评论 -
4.Flink之DataStream API 编程
Apache Flink 零基础入门(四):DataStream API 编程Posted by崔星灿2019年8月02日作者:崔星灿整理:高赟Apache Flink 零基础入门(三):DataStream API编程 1. 流处理基本概念 2. Flink DataStream API 概览 3. 其它问题 4.示例 5. 总结...原创 2020-04-26 18:54:04 · 235 阅读 · 0 评论 -
2.Flink之开发环境搭建和应用的配置、部署及运行
本文主要面向于初次接触 Apache Flink(以下简称Flink)、或者对 Flink 有了解但是没有实际操作过的同学。希望帮助大家更顺利地上手使用 Flink,并着手相关开发调试工作。课程内容包括: Flink 开发环境的部署和配置 运行 Flink 应用(包括:单机 Standalone 模式、多机 Standalone 模式和 Yarn 集群模式) 一、Flink...原创 2020-04-25 21:23:31 · 495 阅读 · 0 评论 -
1.Flink之-介绍定义、架构、基本原理
一、Apache Flink的定义、架构及原理Apache Flink是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态或无状态的计算,能够部署在各种集群环境,对各种规模大小的数据进行快速计算。1. Flink Application了解Flink应用开发需要先理解Flink的Streams、State、Time等基础处理语义以及Flink兼顾灵活性和方便性的...原创 2020-04-24 19:16:11 · 357 阅读 · 0 评论