flink学习笔记
文章平均质量分 95
追风筝的少年-
Talk is cheap, Show me the code!
展开
-
数据湖之基于flink+hudi+hive的实践(一)
文章目录1、介绍2、环境准备与部署3、遇到过的坑1、介绍hudi最新的0.9版本经过众人千呼万唤,终于在9月份出来了。hudi可以兼容在hadoop基础之上存储海量数据,不仅可以进行批处理,还可以在数据湖上进行流处理,即离线与实时结合。并且同时提供了2种原生语义:1)Update/Delete记录:即通过hudi可以更新和删除表中记录,同时还提供写操作的事务保证。2)Change Streams:可以从某个时间点获取给定表中已updated/inserted/deleted的所有记录的增量流。原创 2021-09-27 21:24:02 · 3837 阅读 · 0 评论 -
Flink任务提交流程(Standalone和Yarn)
文章目录1、任务提交流程(Standalone)2、任务提交流程(Yarn)1、任务提交流程(Standalone)1)App程序通过rest接口提交给Dispatcher。2)Dispatcher把JobManager进程启动,把应用交给JobManager。3)JobManager拿到应用后,向ResourceManager申请资源(slots),ResouceManager会启动对...原创 2019-10-23 10:24:25 · 2874 阅读 · 0 评论