阿里巴巴大规模应用Flink的踩坑经验:如何大幅降低 HDFS 压力?
简介: 众所周知 Flink 是当前广泛使用的计算引擎,Flink 使用 checkpoint 机制进行容错处理[1],Flink 的 checkpoint 会将状态快照备份到分布式存储系统,供后续恢复使用。在 Alibaba 内部我们使用的存储主要是 HDFS,当同一个集群的 Job 到达一定数量后,会对 HDFS 造成非常大的压力,本文将介绍一种大幅度降低 HDFS 压力的方法 -- 小文件...
原创
2020-01-10 20:32:08 ·
6262 阅读 ·
0 评论