HDFS
文章平均质量分 69
风筝Lee
儿时,你是父母手中的风筝;上学了,你是老师手中的风筝;工作了,你是领导手中的风筝;成家了,你是妻子手中的风筝;老时,你是子女手中的风筝。人生就像风筝,总有一根线牵着你,或长、或短,或紧、或松;你在这头,爱你的人就在那头。
展开
-
存储技术架构演进
和传统的集中式系统相比,分布式系统的整体性价比更高,同时凭借其扩展性,可以很好的满足大规模数据存储和处理场景的需求,可以很好的解决高并发场景下性能瓶颈问题。原创 2024-01-29 23:03:53 · 385 阅读 · 0 评论 -
HDFS文件系统之存储优化篇1
首先介绍一下EC,EC是Erasure coding的简称,是一种编码容错技术。HDFS 默认的EC编码为RS-6-3-1024,若应用此编码相比默认的三副本大概可以节省一半的成本。HDFS数据的布局方式分为两种,一种是连续布局,如果出现问题EC修复粒度太大,容易造成资源瓶颈问题,第二种是条行布局,EC修复粒度较小,修复成本低。原创 2024-01-29 08:47:28 · 245 阅读 · 0 评论