Intel高性能IO500分布式存储系统DAOS资源汇总-包含RDMA 网络 SPDK NVME TSE 任务调度 异步 事件队列等

常用链接

项目计划: https://daosio.atlassian.net/wiki/spaces/DC/pages/4836661105/Roadmap
设计文档: https://daosio.atlassian.net/wiki/spaces/DC/pages/4806836263/Resources
daos术语: docs/overview/terminology.md, https://docs.daos.io/v2.5/overview/terminology/
daos开发文档: https://docs.daos.io/v2.5/dev/development/
daos开发文档_容器增删改查: https://docs.daos.io/v2.5/user/container/
用户文档: https://docs.daos.io/v2.5/user/workflow/
公共组件: https://github.com/daos-stack/daos/tree/master/src/common
c_raft实现: https://github.com/willemt/raft, 文档: raft.h,
vos(翻译): https://blog.csdn.net/Hahafly1234/article/details/119298746
低时延,高性能RDMA网络: https://mp.weixin.qq.com/s/qPY4oNuhwaByFpK68g3yEA
CART+RDMA = 大数据和百万兆级 HPC 开源 RPC 传输层: https://mp.weixin.qq.com/s/AAOIstxRV94b_RS7WrcBBw

晓兵技术杂谈(系列)

https://cloud.tencent.com/developer/user/5060293/video

主题	时间	链接	备注
晓兵技术杂谈1-intel_daos项目简介_高性能分布式存储_RDMA_SPDK_NVME_HPC_对象存储_源码分析_c语言	2023-09-02 00:22:15	https://www.bilibili.com/video/BV1mz4y1M7GN	分布式异步对象存储 (DAOS) 是一种开源对象存储，专为大规模分布式非易失性内存 (NVM) 而设计。DAOS 利用下一代 NVM 技术，如 Intel © Optane ™ Persistent Memory 和 NVM express (NVMe)，同时在商用硬件之上提供键值存储接口，提供事务性非阻塞 I/O 等功能，具有自我修复、端到端数据完整性、细粒度数据控制和弹性存储的高级数据保护，以优化性能和成本, 参考: https://github.com/ssbandjl/daos
晓兵技术杂谈2-daos用户态文件系统io路径_dfuse_io全路径_io栈_分布式存储_c语言	2023-09-03 17:21:31	https://www.bilibili.com/video/BV1gu411P71a	分布式异步对象存储（DAOS，Distributed Asynchronous Object Storage）是一个开源的可扩展存储系统，从根本上设计用于在用户空间支持SCM和NVMe存储。DAOS在IO500基准测试中展现出领先的性能 DAOS从头开始设计，以利用现代化存储硬件（SCM、NVMe和CXL SSD）。其先进的低级键值API使其具有比传统基于POSIX的并行文件系统更高的IOPS和可扩展性，DAOS的IO500结果 [2] 也证实了这一点。需要注意的是，虽然DAOS提供了POSIX抽象层，但它也可以直接与自定义I/O中间件（如MPI-IO、HDF和几个AI/分析框架）集成，以提供比POSIX更多的功能。本研究仅在DAOS POSIX容器之上使用DAOS DFS API 参考: https://logread.cn/post/daos/daos_dfuse_fs_io_path/ https://blog.csdn.net/ssbandjl/article/details/132651510 https://cloud.tencent.com/developer/article/2322705
晓兵技术杂谈3-分布式存储系统-daos的rdma通信框架_verbs_rpc_cart_mercury_libfabric_c语言	2023-09-08 23:16:22	https://www.bilibili.com/video/BV1fp4y1L7VZ	晓兵技术杂谈3-分布式存储系统-daos与rdma通信框架_verbs_rpc_cart_mercury_libfabric_c语言 CaRT（集体和 RPC 传输）与Mercury CaRT 是用于大数据和 百亿级 HPC 的开源 RPC 传输层。 它支持传统的 P2P RPC 和集体 RPC，后者通过可扩展的基于树的消息传播在一组目标服务器上调用 RPC。Cart将Mercury封装，对应用程序提供初始化上下文，创建请求，发送请求，请求回调等数据通道接口，典型的上层应用如心跳swim，rank管理, 持久内存和Nvme读写IO, 底层通过libfabric或ucx封装RDMA的发送SEND/接收RECV和READ读/WRITE写接口 参考: https://blog.csdn.net/ssbandjl/article/details/130448137 https://blog.csdn.net/ssbandjl/article/details/130655867 https://github.com/ssbandjl/libfabric/blob/main/ofi_guide.md https://github.com/ssbandjl/mercury.git https://github.com/ssbandjl/daos/tree/master/src/cart
晓兵技术杂谈4-分布式存储系统-daos的异步任务调度引擎框架TSE_task_schedule_engine_c语言编程	2023-09-16 22:01:48	https://www.bilibili.com/video/BV18u411c7Mg	晓兵技术杂谈4-分布式存储系统-daos的异步任务调度引擎框架TSE_task_schedule_engine_c语言编程 任务调度引擎: https://blog.csdn.net/ssbandjl/article/details/132178633 事件和事件队列,网络上下文即EV/EQ/CartContext https://blog.csdn.net/ssbandjl/article/details/132385609
晓兵技术杂谈5-分布式存储系统-daos底层通信rdma接口_libfabric教程_gpu数据dma_socket_大块数据bulk传输原理_rdma_单边读写_c语言编程.mp4	2023-09-24 23:41:08	https://www.bilibili.com/video/BV1nr4y1f7kE	晓兵技术杂谈5-分布式存储系统-daos底层通信rdma接口libfabric教程gpu数据dma_socket大块数据bulk传输原理rdma单边读写c语言编程_ai_intel_panda_熊猫博士 https://logread.cn/post/ofa/libfabric_tutorial_rdma_gpu_intel_dma_video_panda/ https://blog.csdn.net/ssbandjl/article/details/133248887
晓兵技术杂谈6-分布式存储系统-daos底层通信rdma接口分层调用详解_libfabric_mercury_高性能网络_通信_c语言编程_云计算_存储.mp4	2023-10-13 21:24:52	https://www.bilibili.com/video/BV1iN411b7qS	晓兵技术杂谈6_分布式存储系统DAOS Mercury(HG) Libfabric(OFI) RDMA 分层verbs接口调用详解_c语言_代码走读_通信_rpc, DAOS Mercury(HG) Libfabric(OFI) RDMA 分层verbs接口调用详解 , https://cloud.tencent.com/developer/article/2335208 https://logread.cn/post/daos/daos_mercury_libfabric_rxm_rdma_verbs_rpc_bulk_api/ 常用学习链接(随时更新): https://logread.cn/post/study/summary/

晓兵

https://logread.cn/post/study/summary/
博客: https://logread.cn | https://blog.csdn.net/ssbandjl | https://cloud.tencent.com/developer/user/5060293/articles
https://cloud.tencent.com/developer/user/5060293/video
公众号: 云原生云
WX: ssbandjl