DatenLord前沿技术分享

最新推荐文章于 2024-08-07 09:35:58 发布
最新推荐文章于 2024-08-07 09:35:58 发布
阅读量195 收藏 1
点赞数
文章标签： java 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DatenLord/article/details/126788176
版权
zIO是一个用户态库，旨在减少IO密集型应用中的内存拷贝，提升性能。该技术针对Redis等应用，通过透明方式减少包括应用层在内的总共6次内存拷贝。本次分享将探讨zIO的设计原理和如何解决开发中的内存拷贝问题，帮助优化IO操作。
摘要由CSDN通过智能技术生成

 

主题：分享发表在 OSDI2022 的论文 zIO: Accelerating IO-Intensive Applications with Transparent Zero-Copy IO

内容简介

从最开始数据拷贝导致了内存和 CPU 的开销，限制了 IO 密集型应用的性能。零拷贝（zero-copy）IO 是普遍追求的长期目标，但已有的研究主要关注减少 IO 栈内拷贝次数，忽略了应用中的内存拷贝。以 Redis 为例，一次 SET 操作经历了 4（应用）+ 2（IO 栈）次拷贝。zIO 提供了一套用户态库，可在用户无感知且无需修改程序的情况下减少应用中的内存拷贝次数。本次分享将介绍 zIO 的设计，并就开发中的内存拷贝问题做梳理和提示。

zIO 设计示意

常见应用中的内存拷贝次数

 

直播预约

欢迎您通过微信视频号 “达坦科技 DatenLord” 预约直播，或登陆腾讯会议观看直播：

会议号：772-6477-5345

https://meeting.tencent.com/dm/OiHB1Qofhynk

达坦科技DatenLord
关注
Rust China Conf 2020 详细议程揭晓（上）
Rust语言学习交流
12-21 2013
12/26-27 日，Rust China Conf 2020 技术大会将在中国·深圳举办。作为大会的主办方，Rust 中文社区非常高兴向大家宣布：今年的 Rust 大会，依旧干货满满。...
云原生分布式存储基石 etcd深入解析
05-28
云原生分布式存储基石 etcd深入解析
datenlord:DatenLord，计算定义的存储，面向应用程序的云原生分布式存储系统
04-09
达顿·洛德（DatenLord） DatenLord是下一代云原生分布式存储平台，旨在满足下一代云原生应用程序（如微服务，无服务器，AI等）对性能至关重要的存储需求。一方面，DatenLord旨在是一个云原生存储系统，它本身是分布式的，容错的且可正常升级的。 这些云原生功能使DatenLord易于使用和维护。 另一方面，DatenLord被设计为面向应用程序的存储系统，因为DatenLord针对许多性能关键型方案进行了优化，例如数据库，AI机器学习，大数据。 同时，DatenLord为容器提供了高性能的存储服务，从而促进了在Kubernetes（K8S）之上运行的有状态应用程序。 DatenLord的高性能是通过利用硬件和软件方面的最新技术革命来实现的，例如NVMe，非易失性存储器，异步编程以及对本机Linux异步IO的支持。 为什么选择DatenLord？ 为什么我们要构建Daten
DatenLord｜Rust语言无锁数据结构的内存管理
DatenLord的博客
07-11 238
作者 | 施继成 转自《Rust Magazine中文精选》正如大家所熟知的，无锁数据结构在并发访问中往往具有更好的访问效率和并发度。无锁数据结构的性能优势主要来自于以下两点：1. 数据结构的锁设计往往比较粗粒度，在很多可以并发访问的情况下，访问者被锁阻塞，无法实现并发访问。2. 无锁数据结构访问不需要进行上下文切换，有锁数据结构在并发度高的时候往往会触发操作系统上下文切换。但是无锁数据结构也带来了新的问题，即内存管理问题。举个例子：当线程 A 读取一块数据的时候，线程 B 要释放该数据块。在有锁数据结构中
DatenLord：云原生分布式存储的新星
最新发布
gitblog_00020的博客
08-07 799
DatenLord：云原生分布式存储的新星 datenlordDatenLord, Computing Defined Storage, an application-orientated, cloud-native distributed storage system项目地址:https://gitcode.com/gh_mirrors/da/datenlord 项目介绍 DatenLord ...
DatenLord | Xline Geo-distributed KV Storage
DatenLord的博客
08-12 481
DatenLord作为高性能跨云跨数据中心的存储，对metadata管理有了跨云跨数据中心的要求。DatenLord目前使用etcd作为metadata的管理引擎，但是考虑到etcd无法完全满足DatenLord的跨云跨数据中心的场景，我们决定实现自己的metadata管理引擎。Xline应运而生，Xline是一个分布式的KV存储，用来管理少量的关键性数据，并在跨云跨数据中心的场景下仍然保证高性能和数据强一致性。考虑到兼容性问题，Xline会兼容etcd接口，让用户使用和迁移更加流畅。...
Datenlord |垃圾回收机制与无锁化编程（二）
DatenLord的博客
07-15 322
作者 | 王璞上一篇文章介绍了无锁化编程场景下的一种垃圾回收机制，Epoch-based Memory Reclaimation（EB)。 本篇介绍另一种无锁化编程场景下的垃圾回收机制，Hazard Pointer（HP）。HP也是一种确定型GC。HP的内存回收方法比较简单： 对无锁化编程场景下的每个线程，需要显式标注出该线程要竞争访问的共享对象，即线程把要竞争访问的对象的指针标注为危险指针（Hazard Pointer）， 访问结束后或取消标注该危险指针、或标注该危险指针指向的共享对象为待回收。 在回收内
云原生 分布式 存储 基石 etcd 解析
06-19
云原生 分布式 存储 基石 etcd 解析 解压密码 123
DatenLord - 探索云原生存储的新境界
gitblog_00051的博客
05-17 414
DatenLord - 探索云原生存储的新境界 datenlordDatenLord, Computing Defined Storage, an application-orientated, cloud-native distributed storage system项目地址:https://gitcode.com/gh_mirrors/da/datenlord DatenLord 是一个...
Datenlord |内存顺序问题（一）
DatenLord的博客
07-13 416
作者 | 王璞内存顺序，通俗地讲，是关于代码编译成机器指令后的执行顺序问题。内存顺序和编译器、硬件架构密切相关。那为什么会产生内存顺序问题呢？有两方面原因： 一方面，编译器为了优化程序性能，不会完全按照开发者写的代码的顺序来生成机器指令； 另一方面，在程序运行时，为了提高性能，CPU也不完全按照程序的指令顺序执行，比如体系结构里经典的Tomasulo算法。对于大部分开发者而言，在写单线程程序，或者基于锁（Mutex）和信号量（Semaphore）之类编程框架提供的同步元语写多线程程序的时候，并不需要关心内存
Datenlord |内存顺序问题（二）
DatenLord的博客
07-13 200
作者 | 王璞上一篇文章介绍了内存模型，并介绍了两种内存顺序， （Acquire）和（Release）。 个人认为，这两种内存顺序是C++定义的六种内存顺序中最重要的两种， 只有理解了Acquire和Release的语义，才能更好理解其他四种内存顺序的语义。 更进一步，在实际使用场景中，Acquire和Release是最常见的两种内存顺序。如何判断该使用哪种内存顺序？这是开发者在使用原子类型和无锁化编程时最常碰到的问题。 本篇Blog用实际的例子来说明，如何判断该使用哪种内存顺序。 此外，为了更深入理解基于
Datenlord |保持奇迹：达坦科技CTO荣登「X·36Under36」榜单
DatenLord的博客
07-14 512
36氪近期在线上隆重举办了名为“保持奇迹”X·36Under36的创业者盛典。在这场被誉为创投界“奥斯卡”创投盛会上，36氪重磅揭晓了「X·36Under36」2022年度S级创业者名册。达坦科技（DatenLord）联合创始人兼CTO施继成脱颖而出，荣誉上榜，以20%的入围率成功入选2022年度S级创业者名册，成为中国360位最具代表性的青年创新企业家之一。 据悉，这份S级创业者名册涵盖企业工具与底层软件、AIOT、芯片、人工智能与机器人等十大热门创业领域，由顶级投资人、一流专家学者和企业领袖耗时6个月在
DatenLord｜Curp 共识协议的重新思考
DatenLord的博客
07-09 398
作者 | 施继成，达坦科技（DatenLord）目录共识简介Curp 共识协议Curp 协议总结和讨论共识协议是一种让分布式系统中多个节点保持信息一致的通信协议，即使少数节点发生故障也依然能够保证信息的准确和一致。而每当我们在讨论共识协议的时候往往会想到 classic paxos 或者 raft 协议，这两个协议是很多其他协议的基础，后续的很多协议都可以看成是它们的变种，例如 Multi-Paxos和 Fast-Paxos等等。我们今天先从这两个协议入手，先来回顾一下这两个协议是如何工作的。首先来看 cl
DatenLord前沿技术分享 No.15
DatenLord的博客
01-06 175
使用 TLA+ 为分布式算法验证正确性
DatenLord｜Etcd 客户端缓存实践
DatenLord的博客
07-14 196
Etcd 是一个支持强一致性的分布式 KV 存储，主要用于 metadata 的管理、服务发现、分布式锁等场景。DatenLord 使用 etcd 来管理集群的 metadata，DatenLord 的应用会频繁查询 etcd 中的 metadata，但是极少更改，是典型的读多写少的场景。在使用过程中我们发现一次 etcd 操作带来的网络开销成为了性能瓶颈，所以我们想到通过实现客户端缓存的方式来省去不必要的网络的开销。具体想法是在客户端缓存查询结果，这样每次需要查询 etcd 的时候，如果缓存命中，则只需要
DatenLord前沿技术分享 No.13
DatenLord的博客
12-23 136
异步事件驱动的电路机制 & 基于RISC-V的全异步超标量CPU体系结构
DatenLord前沿技术分享 No.12
DatenLord的博客
12-08 197
OPAE-Xilinx平台级复用开源项目介绍
DatenLord前沿技术分享 No.31
DatenLord的博客
07-21 156
专注下一代云计算——“天空计算”的基础设施技术，致力于拓宽云计算的边界。达坦科技打造的新一代开源跨云存储平台DatenLord，通过软硬件深度融合的方式打通云间壁垒，实现数据高效跨云访问，建立海量异地、异构数据的统一存储访问机制，为云上应用提供高性能安全存储支持。达坦科技专注于打造新一代开源跨云存储平台DatenLord，通过软硬件深度融合的方式打通云云壁垒，致力于解决多云架构、多数据中心场景下异构存储、数据统一管理需求等问题，以满足不同行业客户对海量数据跨云、跨数据中心高性能访问的需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

达坦科技DatenLord

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值