HDFS
文章平均质量分 91
HDFS
大数据技术架构
Focus on Lakehouse
展开
-
Hadoop小文件问题的影响、产生与处理
在使用Hadoop过程中,小文件是一种比较常见的挑战,如果不小心处理,可能会带来一系列的问题。HDFS是为了存储和处理大数据集(M以上)而开发的,大量小文件会导致Namenode内存利用率...转载 2021-03-02 08:50:19 · 1757 阅读 · 0 评论 -
HDFS实践 | 京东 HDFS EC 应用实践
导读为了实现降本增效,京东HDFS 团队在 EC 功能的移植、测试与上线过程中,基于自身现状采取的一些措施并最终实现平滑上线。同时自研了一套数据生命周期管理系统,对热温冷数据进行自动化...转载 2021-03-25 21:59:30 · 623 阅读 · 0 评论 -
HDFS原理 | 一文读懂HDFS架构与设计
1 前言HDFS(Hadoop Distributed File System)是我们熟知的Hadoop分布式文件系统,是一个高容错的系统,能提供高吞吐量的数据访问,非常适合大规模数据集...原创 2020-04-20 08:23:09 · 351 阅读 · 0 评论