Hadoop
文章平均质量分 90
大数据技术架构
Focus on Lakehouse
展开
-
Hadoop小文件问题的影响、产生与处理
在使用Hadoop过程中,小文件是一种比较常见的挑战,如果不小心处理,可能会带来一系列的问题。HDFS是为了存储和处理大数据集(M以上)而开发的,大量小文件会导致Namenode内存利用率...转载 2021-03-02 08:50:19 · 1785 阅读 · 0 评论 -
HDFS实践 | 京东 HDFS EC 应用实践
导读为了实现降本增效,京东HDFS 团队在 EC 功能的移植、测试与上线过程中,基于自身现状采取的一些措施并最终实现平滑上线。同时自研了一套数据生命周期管理系统,对热温冷数据进行自动化...转载 2021-03-25 21:59:30 · 627 阅读 · 0 评论 -
Hadoop实践 | 58同城Hadoop2.6升级3.2实践
Hadoop3已经发布了多个稳定版本,最新版本为3.3.0,Hadoop3.x中增加了很多特性和重大改进。在HDFS方面,最主要是EC能力成熟,显著降低HDFS数据存储成本。在Yarn层面...转载 2021-05-22 15:06:37 · 756 阅读 · 0 评论