直播回顾 ｜ FlinkX HDFS Write vs StreamFileSink设计原理与使用

哈喽！朋友们

11月23日晚19:00袋鼠云数栈的大数据引擎开发技术大咖-渡劫在钉钉群、微信视频号和B站同步直播

FlinkX技术分享

《FlinkX HDFS Write vs StreamFileSink设计原理与使用》有没有看呢？

我们看过的小伙伴都表示学到了渡劫深入浅出的把日常遇到的困惑完美解答

错过的人儿想看的话

（方法贴在下面了）下面和数栈君一起回顾下本次的直播主要讲了些啥？

敲黑板，划重点

一、Flinkx-FileSystem原理与使用

1. Flinkx-FileSystem设计

2. Finkx文件写入逻辑

3. FileSystem 场景

4. FileSystem配置

二、StreamFileSink原理与使用

1. StreamFileSink定义

2. StreamFileSink写入原理

3. StreamFileSink关键字

• Bucket Assignment

• Rolling Policy

• Part File Lifecycle

三、Flinkx-FileSystem 与 StreamFilesink对比

1. 为满足Flink的exchange-once语义，FlinkX的文件系统与Flink的StreamFIleSInk均对文件进行了状态的分类，只有在ck的时候将任务移动到数据目录下，而FlikX同时支持离线模式，可以任务结束时，将数据移动到数据目录下。

2. StreamFileSink在非batch模式下，如果没有ck则文件状态一直是progress 或者pending状态。

3. 同时对于文件都有滚动策略，而StramFileSink则滚动策略更丰富，支持时间相关的配置，FlinkX仅支持文件大小的配置。

错过直播的朋友请注意：

钉钉或搜索：30537511 加入技术交流群，回看直播，获取完整的课件资料。

在b站搜索“袋鼠云”回看直播视频

b站视频网址：https://www.bilibili.com/video/bv1MP4y1V7qS

我们定期会邀请技术大牛来给我们做分享，大家关注我们的下一期直播哦～

更多技术交流方式

想面对面技术交流？想看技术大佬直播？扫码加入钉钉群“袋鼠云开源框架技术交流群”（群号：30537511）

想体验更多数栈开源项目？在Github社区或Gitee社区搜索“FlinkX”开源项目

Github开源项目地址：

https://github.com/DTStack/flinkx

Gitee开源项目地址：

https://gitee.com/dtstack_dev_0/flinkx