2019中国技术峰会系列四|DPDK Slab Allocator and zero-copy

最新推荐文章于 2023-01-09 11:05:03 发布
最新推荐文章于 2023-01-09 11:05:03 发布
阅读量357 收藏 2
点赞数

今天，我们给大家分享来自阿里巴巴云事业部的Linjun Zhu在峰会上介绍的如何利用DPDK Slab的分配器和零拷贝来达到高性能工作的目标。

演讲主要分为以下四个部分：

  1. 为何需要DPDK Slab?

  2. DPDK Slab的工作机理。

  3. DPDK Slab应用过程中的性能数据。

  4. 将DPDK Slab应用于零拷贝业务中的具体情况。

以下是这次演讲的PPT:

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

视频地址：

https://www.youtube.com/watch?v=g4zvU_cNsFA&list=PLo97Rhbj4ceIpqgEWAc6nWfaIuldgDH5h&index=5&t=0s

转载须知 

  推荐阅读  

640?wx_fmt=jpeg

weixin_37097605
关注
DPDK抓包工具dpdk-dumpcap的使用
每天分享一个编程小知识
05-08 2222
dpdk-dumpcap工具是一个数据平面开发工具包（dpdk）网络流量转储工具。该界面类似于Wireshark中的dumpcap工具。它作为辅助DPDK进程运行，允许您捕获进出DPDK主进程的数据包。dpdk-dumpcap以Pcapng数据包格式写入文件。
DPDK峰会：FPGA Acceleration and Virtualization Technology in DPDK.pdf
04-02
DPDK技术峰会PPT讲稿分享，DPDK开发者大会讲稿FPGA Acceleration and Virtualization Technology in DPDK分享，演讲者Tianfei Zhang 和 Rosen Xu,Intel;
零复制(zero copy)技术
weixin_34054931的博客
09-30 266
1.1 背景说明：网络数据传输的全过程 在每一次网络io过程，数据都要经过几个缓存，再发送出去。如下图： 以右侧为浏览器，左侧为httpd服务器为例。 当httpd服务收到浏览器发送的index.html文件的请求时，负责处理请求的httpd子进程/线程总是会先发起系统调用，让内核将index.html从存储设备中加载出来。但是加载到的位置是内核空间的缓冲区kernel buff...
诚邀参加DPDK 2019 中国技术峰会
weixin_37097605的博客
03-20 221
DPDK与SPDK开源社区邀请函2019 DPDK中国峰会将于6月24日在上海世博中心举行，DPDK社区诚邀您与会，与我们共同探讨创新网络技术。本次峰会由Linux基金会...
关于zero-copy
Hijacker的专栏
01-09 886
详情参考：https://www.ibm.com/developerworks/linux/library/j-zerocopy/ 一、传统发送示意图 Listing 1. Copying bytes from a file to a socket File.read(fileDesc, buf, len); Socket.send(socket, buf, len);
一文带你，彻底了解，零拷贝Zero-Copy技术
a410974689的博客
06-11 431
1、数据拷贝基础过程 在Linux系统内部缓存和内存容量都是有限的，更多的数据都是存储在磁盘中。对于Web服务器来说，经常需要从磁盘中读取数据到内存，然后再通过网卡传输给用户： 上述数据流转只是大框，接下来看看几种模式。 文章相关视频讲解： c/c++Linux后台服务器开发高级架构师学习视频 PS：视频相关学习文档，点击获取 1.1 仅CPU方式 当应用程序需要读取磁盘数据时，调用read()从用户态陷入内核态，read()这个系统调用最终由CPU来完成； C...
DPDK技术峰会：腾讯的开源协议栈F-Stack.pdf
12-04
DPDK技术峰会PPT讲稿 DPDK开发者大会讲稿 文档讨论了腾讯的开源协议栈F-Stack，设计原则、架构、主要组件、性能及其在腾讯公司内的发展历史，F-Stack, a Full User Space Network Service on DPDK – Haigong Wang @...
DPDK技术峰会：Accelerate VM IO via SPDK and Crypto for Generic vHost.pdf
12-04
DPDK技术峰会，PPT讲稿分享 ，Accelerate VM I/O via SPDK and Crypto for Generic vHost – Changpeng Liu, Xin Zeng @ Intel 该文档讨论了利用DPDK常规vHost user库去创建存储（vHost-SCSI）和crypto（vhost-...
dpdk-tools-20.11-3.el8.x86_64.rpm
12-08
离线安装包，亲测可用
DPDK-Dump:使用DPDK库，DPDK-Dump能够在磁盘上高速存储网络流量
05-13
DPDK-Dump是正在进行的相关工作的一部分，以发布对网络社区有用的开源10Gbps +工具。 在此页面上收集了更多工具： : DPDK-Dump是在FP7 mPlane项目的背景下开发的–面向未来网络和应用程序管理的智能测量平面（ ） ...
DPDK中国技术峰会专题系列——如何利用DPDK设计高性能应用架构
weixin_37097605的博客
10-20 252
DPDK开源社区今天，小编继续和大家一起，回顾DPDK中国技术峰会上的精彩技术分享。本期我们隆重推出的是太一星晨资深架构师林浩关于DPDK网络架构优化的演讲。在本次大咖云...
linux dma 拷贝内存数据_零拷贝(ZERO-COPY)技术简单分享
weixin_36444104的博客
12-03 823
在编写程序时有时会涉及到读取硬盘中的数据，并把这些数据不经过处理发送到其他系统中。这个看似简单地操作实际上消耗了大量的cpu资源。为了减少cpu资源的消耗，引入了零拷贝的技术。在java语言中，可以用java的类库`java.nio.channels.FileChannel` 中的`transferTo()`方法来调用linux/unix系统的零拷贝。 下面会对比传统方法和零拷贝两种方法来讲解。传...
为什么Kafka这么快[零拷贝(Zero-Copy)]？
前进的IT人
12-07 914
如果想理解Kafaka为什么这么快,得先看DMA是什么. DMA: 无论 I/O 速度如何提升，比起 CPU，总还是太慢。SSD 硬盘的 IOPS 可以到 2 万、4 万，但是我们 CPU 的主频有 2GHz 以上，也就意味着每秒会有 20 亿次的操作. 如果我们对于 I/O 的操作，都是由 CPU 发出对应的指令，然后等待 I/O 设备完成操作之后返回，那 CPU 有大量的时间...
Zero-Copy实现原理
weixin_33921089的博客
09-08 125
          参考文章 Nio Is Real 'Zero-Copy'?：https://dongc.github.io/2015/12/09/717/    参考文章:Linux I/O (二)：A Process Of Reading Disk File:https://dongc.github.io/2016/07/14/1335/...
深入理解零拷贝技术
weixin_42651205的博客
09-09 872
文章目录前言一、什么是零拷贝？传统网络IO零拷贝二、DMA 参与下的数据四次拷贝三、UIO简介四、零拷贝技术实现网络IO零拷贝技术实现1、sendfile:（1）利用 DMA 技术（2）传递文件描述符代替数据拷贝2、mmap:3、direct I/O:总结 前言 在海量高并发大存储的时代，零拷贝技术被提及并应用的频次越来越高，很多常见的开源组件也都围绕着这个核心技术和方向进行性能方面的优化提升，性能和稳定性都有了，那使用者会自然而然的多起来。如kafka、mysql、dpdk等。 一、什么是零拷贝？ .
2019中国技术峰会系列一|DPDK Community Update
weixin_37097605的博客
07-04 428
6月24日，在上海召开了由Linux基金会举办，Intel与Kubecon、CloudNativeCon和OpenSource Summit共同举行的DPDK中国技术峰会...
2019中国技术峰会系列二 |Achieve Stable High Performance DPDK Application
weixin_37097605的博客
07-25 104
今天给大家分享的是现代的多核处理器上，DPDK应用怎么得到比较稳定的高性能。现代多核处理器的架构，里面有很多资源是共享的，主要介绍一下这些共享的资源会如何影响性能，如何消...
DPDK：UDP 协议栈的实现
最新发布
you_fathe的博客
01-09 1395
dpdk 基本使用方法，并实现一个 udp 协议栈
DPDK工具指南：dpdk-devbind, dpdk-pdump等命令详解
"dpdk-tools-17.11.pdf 是DPDK工具用户指南，涵盖了dpdk-devbind、dpdk-pdump、dpdk-pmdinfo、dpdk-procinfo等命令的详细使用说明，适用于DPDK开发和管理。该文档发布于2018年9月3日，旨在帮助用户更好地理解和操作...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值