weixin_47773736的博客

转载 嫌 OSS 查询太慢？看我们如何将速度提升 10 倍！

背景 HDFS 是 Hadoop 生态的默认存储系统，很多数据分析和管理工具都是基于它的 API 设计和实现的。但 HDFS 是为传统机房设计的，在云上维护 HDFS 一点也不轻松，需要投入不少人力进行监控、调优、扩容、故障恢复等一系列事情，而且还费用高昂，成本可能是对象存储是十倍以上。 在存储与计算分离大趋势下，很多人尝试用对象存储来构建数据湖方案，对象存储也提供了用于 Hadoop 生态的 connector，但因为对象存储自身的局限性，功能和性能都非常有限，在数据增长到一定规模后这些问题更加突出。 J