root cern
ownCloud体系结构的好处之一是,它可以从小型安装(例如可容纳1-10个用户的Raspberry Pi)扩展到在强大的群集设置中运行的多达500,000个用户和PB级的存储。 我们一直与研究组织CERN和AARnet合作,将其提升到一个新的水平-共同突破PB级障碍。
使用CERN for 9.0
为了使ownCloud准备下一个里程碑和PB级规模,我们合作,与世界上最大的粒子物理实验室背后的IT团队,在欧洲研究组织CERN,以及澳大利亚的研究机构,全国联网提供商AARNET (澳大利亚学术和研究网络)。 欧洲核子研究组织(CERN)拥有强大的基础架构,可以收集和分发每天PB级数据的分析结果,供全球8,000多个科学家和科学组织使用。 文件存储称为EOS ,在35,000个HD上有140 PB的存储空间,分布在1,000多个上
能够提供2x100Gb / s速度的两个站点上的节点。 在EOS之上,ownCloud提供了用于共享和协作的用户界面。
在采用他们为ownCloud同步流程开发的测试框架之前,我们曾与CERN合作。 这次,我们着眼于数据存储基础架构。
扩展到下一个级别
ownCloud始终支持本地文件系统和NFS存储。 在IBM Spectrum Scale之上运行或从Fujitsu等存储产品运行,ownCloud用户可以扩展到100,000个用户。 一年前,我们增加了对S3和Swift兼容对象存储的支持,以支持更多存储后端。 但是我们想进一步扩大界限。 借助ownCloud 9.0,我们旨在使用其现有的元数据功能来创建存储后端深度集成到其基础存储中的功能。 这意味着我们不再需要在ownCloud数据库中存储和管理此元数据,消除了潜在的瓶颈,并使CERN的EOS等创新技术能够与ownCloud进行深度集成。 此功能是根据去年CERN(以及AARNet和其他大学和研究机构)在ownCloud贡献者大会上提供的反馈开发的。 这些组织希望通过ownCloud透明地为科学家提供对其数PB数据的访问和共享能力。
结果
因此,对于ownCloud 9.0,我们开发了新的存储和共享API,这使得编写存储连接器成为可能,这些连接器直接从存储访问和使用高级功能和元数据。 一个示例是CERN开发和使用的EOS文件系统,用于存储和管理其大量科学数据。 该文件系统可以提供元数据,例如ETag,FileID等,这些数据可以由ownCloud 9.0直接使用,从而避免了将其存储在ownCloud数据库中的需求,并减少了开销。 也可以利用存储层的现有共享功能(如果可用)的选项,从而无需在中央数据库中存储共享信息。
github上有一个示例实现和开发人员文档 ,展示了如何编写这种深度集成的存储连接器。
在开发过程中,我们收到了来自CERN团队成员在GitHub上有关设计,体系结构和API的定期反馈。 此外,欧洲核子研究组织(CERN)承诺将对新API进行广泛的培训。 目前,该团队正在更新到ownCloud 8.2,一旦完成,他们将开始使用新API进行测试。 计划进行进一步的更改,我们将继续从他们在这一领域的投入和经验中受益。 通过与CERN团队的对话,我们可能会看到可扩展性进一步改善,这确定了当前方法中的一些瓶颈。
公开协作
CERN,AARNet,ownCloud和其他公司之间的这种合作令人印象深刻地展示了完全开放式开发流程和开放源代码软件的优势。 所有讨论,代码审查和测试都在GitHub上公开进行,显示了公开透明的流程如何确保我们获得最佳结果。
像ownCloud一样自然发展的项目通常会达到一些要求不断发展的要求,需要对代码库进行重新架构并使其适应新的现实。 根据我们的经验,在进行此类转换的同时进行公开工作并直接从最终用户那里获得反馈是巨大的好处,对所有相关人员都是双赢,并加快了成熟的速度。
root cern