Apache Flink
收数佬
这个作者很懒,什么都没留下…
展开
-
Apache Flink CDC简介与使用
CDC (Change Data Capture) Flink在1.11版本中新增了CDC的特性,简称 改变数据捕获。名称来看有点乱,我们先从之前的数据架构来看CDC的内容。 以上是之前的mysql binlog日志处理流程,例如canal监听binlog把日志写入到kafka中。而Apache Flink实时消费Kakfa的数据实现mysql数据的同步或其他内容等。拆分来说整体上可以分为以下几个阶段。 mysql开启binlog canal同步binlog数据写入到kafka原创 2020-11-12 15:13:55 · 2003 阅读 · 1 评论 -
Apache Flink窗口的几种实现的类别
“无界数据于有界数据是一个比较于模糊的概念,无界与有界之间是可以进行转换的。无界数据流在进行某些计算的时候例如每分钟、每小时、每天等操作时都可以看做是有界数据集。Apache Flink使用Windows方式实现了对于无界数据集到有界数据集的计算。” Apache Flink Window 概述 Windows是流式计算中最常用的计算方式之一,通过固定的时长(分钟,小时...原创 2020-04-16 22:02:16 · 1883 阅读 · 5 评论 -
一文了解Flink数据-有界数据与无界数据
在常规的数据处理中,我们最常访问的可能是来自于Mysql,文本等存储介质中的数据,对其进行计算分析。但是现在也越来越的出现流式计算的场景,对于某些时刻产生的数据能够进行实时性的分析。例如天猫双十一实时大屏,实时异常行为检测等。 有界数据集 有界数据集对开发者来说都很熟悉,在常规的处理中我们都会从Mysql,文本等获取数据进行计算分析。我们在处理此类数据时,特点就是数据是静止不动的。也就...原创 2020-02-25 21:06:08 · 2683 阅读 · 0 评论 -
大数据HelloWorld-Flink实现WordCount
MR,Spark,Flink自开篇第一个程序都是Word Count。那么今天Flink开始目标就是在本地调试出Word Count。所有的语言开篇章都是Hello Word,数据处理引擎也有Hello Word。那就是Word Count。 单机安装Flink 开始Flink之前先在本机尝试安装一下Flink,当然FLink正常情况下是部署的部署方式。作者比较穷,机器配置太低开不了几...原创 2020-02-25 21:04:44 · 390 阅读 · 0 评论 -
Apache Flink中的各个窗口时间的概念区分
“Apache Flink中提供了基于时间的窗口计算,例如计算五分钟内的用户数量或每一分钟计算之前五分钟的服务器异常日志占比等。因此Apache Flink在流处理中提供了不同时间的支持。” 处理时间(Processing Time) 处理时间是执行相应的操作时的系统时间。一般来说就是Apache Flink在执行某条数据的计算的时刻的系统时间。 处理时间是...原创 2020-04-16 22:00:30 · 335 阅读 · 0 评论 -
Apache Flink基本编程模型
“前一篇文章中<一文了解Flink数据-有界数据与无界数据>大致讲解了Apache Flink数据的形态问题。Apache Flink实现分布式集合数据集转换、抽取、分组、统计等。根据数据源的类型,即为有界数据与无界数据,提供了DataSet与DataStream的基础API。” DataSet与DataStream 根据数据源的类型,即为有界数据与无界数据。Apa...原创 2020-03-02 13:36:15 · 384 阅读 · 0 评论 -
学习Apache Flink能用来做什么?
Apache Flink这么火,我们学完了可以用来做什么? Apache Flink是近几年大火的数据处理引擎。受到各大厂商的推崇并且已经应用与实际的业务场景中。很多公司在进行选型的时候都会选择Apache Flink作为选型的对象。那么Apache Flink对于企业来说能够做什么? 在实际的生产过程中有大量的数据实时性分析需求,例如实时推荐,异常告警,传感器信令分析等需求。随着技术的...原创 2020-02-25 14:27:10 · 3785 阅读 · 0 评论 -
Apache Flink利用Maven对Scala与Java进行混编
Flink是由Scala进行编写的一种大数据计算引擎,而Scala由是执行与JVM之上的一种语言,所以Scala语言也会编译为字节码文件进行执行。那么使用maven同时管理Scala与Java的代码是否可行? 主要是因为作者在使用IDEA,maven做Flink开发的时候出现的问题。Flink作业在提交到生产环境集群的时候不要把Flink相关源码等打入jar包中,因为这样可能会出现当生产...原创 2020-04-16 21:53:20 · 794 阅读 · 0 评论