- 博客(2)
- 收藏
- 关注
RSS订阅原创 HDFS/Ozone对于存储策略的抽象化提取
文章目录前言存储类别(策略)抽象提炼的意义HDFS的Storage PolicyOzone的Storage Class定义引用前言Ozone作为正在快速迭代开发中的存储系统，相比于HDFS来说，其内部能支持更大规模量级的文件对象存储。不过作为存储系统来说，它同样面临一些数据如何来存储的问题，比如数据存几副本备份，数据replication的策略是什么，数据存储的载体介质是什么等等。本文我们来聊聊Ozone对于这块内容的抽象设计。为什么笔者提到的是抽象设计呢，因为这个功能设计还处在社区讨论中，还未开发完
2020-09-26 16:59:27
846
原创 HDFS千万级别文件数/PB规模量级的数据迁移实战总结
文章目录前言HDFS元数据快速膨胀带来的性能瓶颈问题超大规模数据迁移所面临的挑战和困难DistCp的全面优化提升前言前面时间笔者曾写过一篇关于利用HDFS fastcopy功能来加速DistCp数据拷贝效率的文章(Distcp结合HDFS Fastcopy的性能改造提升)，以及提到了现有DistCp在数据切分时候的一些问题(聊聊Hadoop DistCp的数据切分处理方式)，会导致长尾任务的出现等等。其实在后续的测试过程中，我们还发现并解决了许多大大小小的坑，使得我们整体数据拷贝的耗时达到一个相对短的
2020-09-13 16:00:36
10513
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人