Flink
文章平均质量分 82
lucasmaluping
这个作者很懒,什么都没留下…
展开
-
设计模式--装饰模式
Decorator Pattern(装饰器模式)定义:Attach additional responsibilities to an object dynamically. Decoratorsprovide a flexible alternative to subclassing for extending functionality.(动态地给一个对象添加一些额外的职责。就增加功能来说,装饰模式相比生成子类更为灵活)1.Component抽象构件:Component是一个接口..原创 2021-08-24 15:51:02 · 140 阅读 · 0 评论 -
流式计算容错方案
对于7×24小时不间断运行的流程序来说,要保证fault tolerant是很难的,这不像是离线任务,如果失败了只需要清空已有结果,重新跑一次就可以了。对于流任务,如果要保证能够重新处理已处理过的数据,就要把数据保存下来;而这就面临着几个问题:比如一是保存多久的数据?二是重复计算的数据应该怎么处理,怎么保证幂等性?对于一个流系统,我们有以下希望:最好能做到exactly-once 处理延迟越低越好 吞吐量越高越好 计算模型应当足够简单易用,又具有足够的表达力 从错误恢复的开销越低越好 足够的原创 2021-06-29 17:14:05 · 146 阅读 · 0 评论 -
flink1.11.1 sql-client 连接kafka
一、启动flink集群 bin/start-cluster.sh二、启动sql-client.sh embedded -llibs/三、原创 2021-05-29 09:30:17 · 945 阅读 · 0 评论 -
flink watermark不触发window计算,装逼失败的经历
注意问题:1、设置并行度为12、先启动nc,并发送数据,哪怕直发送一条数据(为什么?),然后再idea启动程序提前准备点数据源:01,158648956600001,158648956700001,158648956800001,158648956900001,158648957000001,158648957100001,158648957200001,158648957300001,158648957400001,158648957500001,15864895760000原创 2021-01-10 13:34:51 · 1560 阅读 · 0 评论 -
flink安装部署
一. Flink的下载安装包下载地址:http://flink.apache.org/downloads.html ,选择对应Hadoop的Flink版本下载Flink 有三种部署模式,分别是 Local、Standalone Cluster 和 Yarn Cluster。二. Local模式对于 Local 模式来说,JobManager 和 TaskManager 会公用一个 ...原创 2019-12-05 14:21:11 · 633 阅读 · 0 评论 -
Flink
一.Flink的引入 这几年大数据的飞速发展,出现了很多热门的开源社区,其中著名的有Hadoop、Storm,以及后来的Spark,他们都有着各自专注的应用场景。Spark掀开了内存计算的先河,也以内存为赌注,赢得了内存计算的飞速发展。Spark的火热或多或少的掩盖了其他分布式计算的系统身影。就像Flink,也就在这个时候默默的发展着。在国外一些社区,有很多人将大...原创 2019-11-29 11:13:27 · 163 阅读 · 0 评论