一、加入CNCF
达坦科技(DatenLord)于今年9月份刚刚正式加入成为CNCF银级会员。其专注于打造新一代开源跨云存储平台,致力于解决跨云、跨数据中心场景下异构存储、数据统一管理等问题,满足不同行业客户对超大规模数据跨云、跨数据中心高性能访问的需求。
DatenLord
达坦科技打造的高性能分布式存储产品DatenLord,通过优化IO全路径各个环节,实现最大化降低由Linux操作系统内核带来的本地IO和网络IO的开销,再通过结合硬件加速技术获得数量级性能提升。这种软硬件深度融合的解决方案,建立了一个统一的存储访问层,为跨云的应用提供高性能和高安全性的存储支持,从而打破云的障碍。
随着云计算的普及和成熟,企业客户出于业务系统安全稳定的考量,或突发请求的处理,以及业务跨地域分布及其数据全球部署等缘由,IT架构从单数据中心向多数据中心演化,多地多中心部署的场景越来越普遍,这催生了跨云数据统一访问的需求。DatenLord可以实现跨云数据统一管理,诸如自动化实现数据迁移、备份、并对应用透明,方便企业应用上云和迁移。特别的,对于经常访问的、需要跨云共享的热数据,DatenLord还提供了高性能的一致性保证,确保热数据访问的性能和正确性。
软硬件深度融合
达坦科技采用软硬件深度融合的方式来实现高性能跨云存储,由硬件来实现存储性能加速,由软件来实现分布式存储管理。首先,达坦科技自研存储专用的硬件加速器,实现硬件加速网络、加密、压缩和编码等分布式存储相关的功能。此外,达坦科技探索新一代硬件敏捷开发与验证方法论,融合函数式编程、形式化验证等前沿技术理念来落地硬件敏捷开发。
同时,在软件算法层面达坦科技致力于探索广域网分布式共识协议的实现。当前的分布式共识协议通常只限于在单个数据中心使用,跨数据中心的分布式共识协议只限于理论研究。达坦科技致力于研发业界第一个基于广域网共识协议的跨云分布式一致性管理工具Xline,用于保证热数据跨云访问的一致性。
开源的力量
达坦科技相信开源的力量,DatenLord的软硬件实现全部开源,一方面希望在分布式系统、Linux内核、开源硬件等组件方面能吸引到更多全球人才,另一方面助推产品发展的同时也回馈开源社区。
达坦科技希望在打造跨云分布式存储系统的同时,推动云原生计算的可持续发展,因此,加入CNCF这一兼具开放与合作的生态平台,希望可以和其他具有相同愿景的同道者一起助推云原生技术的发展。
二、达坦科技开源项目
DatenLord
https://github.com/datenlord/datenlord
DatenLord 是专门为serverless、微服务场景打造的多集群分布式缓存系统,目前提供了 Posix 兼容的文件访问接口,支持多集群同时数据访问,并且保证了数据的一致性。DatenLord 使用 S3 对象存储作为后端存储,支持海量数据的可拓展性。因为Posix 接口被应用程序广泛使用,所以应用程序可以无缝对接 DatenLord,为用户提供了透明的、高性能多集群数据访问解决方案。
Xline
https://github.com/datenlord/Xline
Xline 是一个面向跨数据中心多集群场景的分布式 KV 存储引擎,用来管理系统的关键数据,如索引、配置等关键的元数据。Xline 使得跨数据中心多集群的元数据管理成为可能,Xline 可以实现跨云、跨数据中心场景下数据高性能访问以及数据强一致性。目前Xline 兼容 etcd 接口,方便现有 etcd 用户可以无缝地切换到 Xline,以满足跨数据中心多集群应用场景的数据访问需求。
Asnyc-rdma
https://giithub.com/datenlord/async-rdma
Async-rdma 是用 Rust 语言封装的 RDMA SDK,采用 Rust 语言的异步执行机制,为 RDMA 提供了安全高效的 Rust 接口。Async-rdma 在原始 RDMA 接口上提供了高层的语义抽象,降低 RDMA 应用的开发难度,减少了出错的可能性,同时大大简化出错之后排查问题的复杂度。