![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
文章平均质量分 91
大数据老哥
这个作者很懒,什么都没留下…
展开
-
Flink企业级优化
前言 最近花了一个星期的时间给大家整理了一份Flink优化从多方面下手。末尾有彩蛋。如果对大家有帮助动动发财的小手来个三连,感谢大家~1、资源配置调优 Flink性能调优的第一步,就是为任务分配合适的资源,在一定范围内,增加资源的分配与性能的提升是成正比的,实现了最优的资源配置后,在此基础上再考虑进行后面论述的原创 2021-11-03 14:53:12 · 2316 阅读 · 10 评论 -
Flink中的异步IO
前言 Async I/O 是阿里巴巴贡献给社区的一个呼声非常高的特性,于1.2版本引入。主要目的是为了解决与外部系统交互时网络延迟成为了系统瓶颈的问题。异步IO操作的需求 Flink在做流数据计算时,很多时候需要与外部系统进行交互(比如数据库、Redis、Hive、HBase等等存储系统)。 往往需要注意系统间原创 2021-04-06 21:44:31 · 3791 阅读 · 21 评论 -
那些被问懵的Flink面试题
前言 有没有去面试的时候被问到Flink的面试题你答不上来,为什么那?,菜吗? 不是。原因是你接触的面试题太少了,那我今天就根据不同的群体来给大家你分享。1 Flink基础(适合初入职场)简单介绍一下 FlinkFlink相比传统的Spark Streaming区别?Flink的组件栈有哪些?Flink 的运行必须依赖 Hadoop组件吗?你们的Flink集群规模多大?Flink的基础编程模型原创 2021-01-01 22:28:55 · 2802 阅读 · 23 评论 -
FlinkSQL内置了这么多函数你都使用过吗?
前言 Flink Table 和 SQL 内置了很多 SQL 中支持的函数;如果有无法满足的需要,则可以实现用户自定义的函数(UDF)来解决。一、系统内置函数 Flink Table API 和 SQL 为用户提供了一组用于数据转换的内置函数。SQL 中支持的很多函数,Table API 和 SQL 都已经做了实原创 2020-12-30 23:13:43 · 3439 阅读 · 0 评论 -
一篇文章带你深入理解FlinkSQL中的窗口
前言 时间语义,要配合窗口操作才能发挥作用。最主要的用途,当然就是开窗口、根据时间段做计算了。下面我们就来看看 Table API 和 SQL 中,怎么利用时间字段做窗口操作。在 Table API 和 SQL 中,主要有两种窗口:Group Windows 和 Over Windows(时间语义的文章推荐)...原创 2020-12-28 22:54:35 · 4664 阅读 · 0 评论 -
一篇文章让深入理解Flink SQL 时间特性
前言 基于时间的操作(比如 Table API 和 SQL 中窗口操作),需要定义相关的时间语义和时间数据来源的信息。所以,Table 可以提供一个逻辑上的时间字段,用于在表处理程序中,指示时间和访问相应的时间戳。 时间属性,可以是每个表 schema 的一部分。一旦定义了时间属性,它就可以作为一个字段引用,并且可原创 2020-12-21 23:23:03 · 4373 阅读 · 25 评论 -
一篇文章带你深入了解Flink SQL流处理中的特殊概念
Table API 和 SQL,本质上还是基于关系型表的操作方式;而关系型表、关系代数,以及SQL 本身,一般是有界的,更适合批处理的场景。这就导致在进行流处理的过程中,理解会稍微复杂一些,需要引入一些特殊概念。接下来就分别讲一下这几种概念。一、流处理和关系代数(表,及 SQL)的区别 可以看到,其实关系代数(原创 2020-12-19 21:25:44 · 3505 阅读 · 27 评论 -
快速入门Flink SQL——Sink(Kafka、文本、MySQL、DataStream)
前言 表的输出,是通过将数据写入 TableSink 来实现的。TableSink 是一个通用接口,可以支持不同的文件格式、存储数据库和消息队列。 具体实现,输出表最直接的方法,就是通过 Table.insertInto() 方法将一个 Table 写入注册过的 TableSink 中。一、输入到文件...原创 2020-12-18 22:03:46 · 5929 阅读 · 24 评论 -
快速入门Flink SQL——Table与DataStream互转
前言 上述讲到,成功将一个文件里的内容使用SQL进行了一解析(快速入门Flink SQL —— 介绍及入门)本篇文章主要会跟大家分享如何连接kafka,MySQL,作为输入流和数出的操作。一、将kafka作为输入流 kafka 的连接器 flink-kafka-connector 中,1.10 版本的已经提供了原创 2020-12-17 23:12:01 · 7657 阅读 · 14 评论 -
快速入门Flink SQL —— 介绍及入门
前言 Flink 本身是批流统一的处理框架,所以 Table API 和 SQL,就是批流统一的上层处理 API。目前功能尚未完善,处于活跃的开发阶段。 Table API 是一套内嵌在 Java 和 Scala 语言中的查询 API,它允许我们以非常直观的方式,组合来自一些关系运算符的查询(比如 select、f原创 2020-12-16 22:12:30 · 19884 阅读 · 30 评论 -
快速入门Flink(8)——Flink中的流式处理Transformation操作
上篇博客给大家讲解了DataSource与DataSink本篇文章准备给大家讲解下Stream中的最长用的几种Transformation操作(收藏,收藏,收藏重要事情说三遍)。一、KeyBy逻辑上将一个流分成不相交的分区,每个分区包含相同键的元素。在内部,这是通过散 列分区来实现的import org.apache.flink.streaming.api.scala._/** * @author.原创 2020-09-23 22:20:33 · 6124 阅读 · 52 评论 -
快速入门Flink(7)——Flink中的流式处理DataSource与DataSinke
前几篇文章给大家讲解了个关于Flink批处理相关的技术点,今天给大家将讲解下关于流式处理的DataSource与DataSink ☛(Flink专辑)一、入门案例使用Flink的流式处理来计算wordCount实现步骤:获取Flink批处理运行环境构建一个socket源使用Flink操作进行单词统计打印说明:如果 linux 上没有安装 nc 服务 ,使用 yum 安装yum instal.原创 2020-09-23 00:23:37 · 5456 阅读 · 57 评论 -
快速入门Flink(6)——Flink中广播变量、分布式缓存、累加器(超详细,快收藏)
上篇文章给大家讲解了Flink中常用的到算子 ☛(Flink中的17种TransFormAction算子)那您写的代码如何进行优化那,提高效率?那接下来我们使用分布式缓存、广播变量来提高代码的效率。一、Flink 的广播变量(重点 )介绍Flink广播变量及试用场景 Flink 支持广播变量,就是将数据广播到具.原创 2020-09-20 14:53:07 · 8716 阅读 · 46 评论 -
LeetCode快速入门① ——数组系列上(面试常问,建议收藏)
首先我在这里先介绍下算法对于我们个人的意义。在实际项目中,算法的使用场景有很多,如“Java8中Hashmap使用红黑树来实现”、“Redis底层使用LRU来进做淘汰策略”、“大数据领域很多问题都基于TopK”、“JS原型链里使了类似链表的成环检测”、“特别复杂的业务逻辑经常涉及到DAG”、“MySql为什么索引要用B+树”、“Oracle里的开窗函数如何实现” 等等等等。总之,正是因为算法题目中只保留了必备的.原创 2020-09-17 23:03:10 · 8312 阅读 · 62 评论 -
快速入门Flink(5)——Flink中的17种TransFormAction算子(面试必问,建议收藏)
11111原创 2020-09-17 00:28:38 · 8673 阅读 · 52 评论 -
快速入门Flink(4)——Flink的DataSource你都会了?(常用的操作还不快收藏起来?)
1原创 2020-09-08 21:45:48 · 7598 阅读 · 53 评论 -
快速入门Flink(3)——Flink运行架构(面试必问,建议收藏)
上一篇教大家如何搭建一个Flink集群,本篇博客给大家讲解一下Flink运行时架构(面试必问)一、Flink运行时组件1.1 作业管理器(JobManager)控制一个应用程序执行的主进程,也就是说,每个应用程序都会被一个不同的Jobmanager所控制执行Jobmanager会先接收到要执行的应用程序,这个应用程序会包括:作业图( Job Graph)、逻辑数据流图( ogical dataflo.原创 2020-08-23 00:07:00 · 10350 阅读 · 72 评论 -
快速入门Flink(2)——Flink集群环境搭建(3台节点 建议收藏)
上一篇博客给大家介绍了一下Flink,今天大家带来Flink集群环境搭建。(建议收藏)一、Flink支持多种方式搭建(local,standalone,yarn)local( 本地) ——单机模式, 一般不使用standalone ——独立模式, Flink 自带集群,开发测试环境使用yarn——计算资源统一由 Hadoop YARN 管理,生产环境测试1.1准备工作JDK1.8以上(配置JA.原创 2020-08-16 19:40:33 · 13801 阅读 · 51 评论 -
快速入门Flink(1)——Flink介绍与架构体系
本篇博客正式讲解Flink,为啥要学习Flink(ÒωÓױ)!现在好多到大公司使用来Flink做实时处理与批处理。一、Flink介绍1.1 Flink 的引入 这几年大数据的飞速发展,出现了很多热门的开源社区,其中著名的有 Hadoop、Storm, 以及后来的 Spark ,他们都有着各自专注的应用场景。Spar原创 2020-08-04 20:01:28 · 8020 阅读 · 39 评论