flink
文章平均质量分 84
shadon178
很多技术不用就都忘记了,以后要多写博客了,多交流才能印象深刻。
展开
-
Java开发之实时计算--Flink
简介介绍计算框架对java开发的重要性介绍flink的架构介绍flink的基本概念:常用算子、checkpoint、state、window介绍flink的编程模型:DataStream、DataSet、Table API、SQL介绍flink的部署计算框架每个Java开发一定要懂至少一个流行的计算框架,因为现在的数据量越来越大,光靠数据库或者手写代码去实现难度已经越来越大,不仅涉及到资源调度,还要考虑分布式,并且还要考虑高可用、容错等等,因此我们需要借助现有的分布式计算框架来实现我们大规原创 2022-01-23 14:10:43 · 9785 阅读 · 2 评论 -
Flink Yarn的2种任务提交方式
Flink Yarn的2种任务提交方式Pre-Job模式介绍每次使用flink run运行任务的时候,Yarn都会重新申请Flink集群资源(JobManager和TaskManager),任务执行完成之后,所申请的Flink集群资源就会释放,所申请的Yarn资源是独享的,不与其他任务分享资源。运行命令./bin/flink run -m yarn-cluster -yn 3 -ys 12 -p 4 -yjm 1024m -ytm 4096m ./examples/batch/WordCount.原创 2021-10-24 16:23:09 · 3976 阅读 · 0 评论