开源项目介绍｜Apache Ozone-分布式大数据通用存储

最新推荐文章于 2025-04-15 11:21:24 发布

tencent__open

最新推荐文章于 2025-04-15 11:21:24 发布

阅读量7.4k

点赞数

文章标签：分布式编程语言 html css java

原文链接：https://opensource.tencent.com/summer-of-code

版权

2021腾讯犀牛鸟开源人才培养计划

开源项目介绍

滑至文末报名参与开源人才培养计划

提交项目Proposal

Apache Ozone项目介绍

标签：大数据存储

技术栈：Java

标签：大数据存储

技术栈：Java

Apache Ozone-分布式大数据通用存储，Ozone是一个大数据场景分布式存储，支持百亿到千亿级对象和文件。Ozone提供兼容S3 的对象功能，和兼容Hadoop File System(HCFS)的文件功能，同时通过CSI驱动接入Kubernets生态。Ozone定位于混合云场景存储支持，是面向数据湖的下一代大数据存储系统。

Apache Ozone导师介绍

陈怡、费辉、耿斌、赵明超

陈怡：Apache Ozone PMC Chair、Apache Hadoop PMC

费辉：Apache Ozone Committer， Apache Hadoop Committer

耿斌：Apache Ozone Committer

赵明超：Apache Ozone Committer

导师寄语：

“大数据存储是整个大数据系统的基石，Ozone是Hadoop生态推出的新一代大数据场景分布式存储，支持百亿到千亿级对象和文件。希望同学们通过暑期实践，对于大数据生态的存储能有一个深入的了解和掌握。”——陈怡

Apache Ozone拓展资料

????Apache Ozone官网：

https://ozone.apche.org

????Apache Ozone最新发布1.1.0文档：https://ozone.apache.org/docs/1.1.0/

????TOzone：Native Object Store for Hadoop：

http://4nqiq.cn/5nXVg

Apache Ozone实战任务

（最终具体任务以实战阶段导师布置为准）

编程任务

项目：兼容S3协议的数据Lifecycle管理

任务：
1. 数据Lifecycle管理的设计
2. 在S3网关实现Lifecycle 策略的设置和修改
3. 在Ozone 命令行支持 LifeCycle的CRUD
4. 在Ozone元数据OM节点，实现Lifecycle的具体功能
5. 完成代码编写和测试，完成功能使用文档
6. Demo 演示

参考资料：
https://docs.aws.amazon.com/AmazonS3/latest/userguide/object-lifecycle-mgmt.html （复制链接粘贴至浏览器即可查看）