NIO和Netty中的零拷贝

VIP文章 已于 2022-04-07 23:25:06 修改
阅读量468 收藏
点赞数
分类专栏： NIO 文章标签： java linux 内核 socket 操作系统
于 2021-04-06 19:55:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43243317/article/details/115469103
版权
1、BIO中数据拷贝：

在这里插入图片描述

程序向操作系统发起读操作，由用户上下文切换到内核上下文，内核上下文从磁盘或者其他硬件拷贝数据到内核缓冲区，再将数据从内核缓冲区拷贝到用户缓冲区，读调用返回，由内核上下文切换到用户上下文，用户程序向操作系统发起写操作，切换到内核上下文，将数据拷贝到内核缓冲区，内核将数据拷贝到socket缓冲区，再将数据拷贝到协议引擎发送，写操作返回，切换到用户上下文。一共进行了4次上下文切换，4次拷贝，其中2次CPU拷贝。
2、通过mmp实现的零拷贝：

在这里插入图片描述
mmap(内存映射)是一个比sendfile昂贵但优于传统I/O的方法。它与传统I/O相比仅仅少了1次内核空间缓冲区和用户空间缓冲区之间的CPU拷贝。NIO中的DirectByteBuffer就是使用mmp实现

最低0.47元/天 解锁文章
穿白衬衣的少年
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
netty学习：bio，nio到netty各种使用案例，包括基础使用案例，各api使用方法，零拷贝，websocket，群聊，私聊，编码，解码，自定义协议，protobuf等使用案例，rpc服务器，客户端等等学习
02-05
零拷贝使用案例文件上传 netty的演进模型（3中React器使用案例线程池的添加时机）。 NioEventLoopGroup中的成员变量分析（线程池） ChannelHandlerContext和ChannelPipeLine以及Channel的关系 使用netty自带的编码...
Netty之NIO零拷贝
勇心在馨
12-10 446
零拷贝：从操作系统角度说是没有cpu拷贝。 零拷贝不仅带来更少的数据复制，还带来其他的性能优势，例如更少的上下文切换，更少的cpu缓存伪共享以及无cpu校验和计算。 java程序中，常用的零拷贝是：内存映射（mmap）和sendFile NIO零拷贝使用方式：transferTo 先看下传统的IO数据读写代码如下： 传统IO模型： 注：DMA（direct memory acc...
Netty-NIO 零拷贝
码小呆的博客
05-14 206
描述： 在java程序中,常用的零拷贝有mmap（内存映射） 和 sendFile，那么他们在系统里，到底是怎么样的一个设计？ 在nio中是如何实现零拷贝的呢？ 传统io拷贝 直接内存拷贝： 从图中可以看到，内核缓冲区，拷贝到 用户缓冲，在拷贝到socket 缓冲，在dma 拷贝，这是非常耗费资源的。 mmap优化 mmap 通过内存映射，将文件映射到内核缓冲区中，同时用户空间可以共享内核空间的数据，这样在网络传输的时候，就可以减少内核空间到用户空间的拷贝。 sendFile 1.0 数据传输不经过用
Netty学习——NIO的零拷贝
Luffyu的博客
04-21 216
NIO的零拷贝 零拷贝 指不是不拷贝，而且不是使用CPU拷贝。带来了更少的数据复制，更新的上下文切换，更少的CPU缓存等 详细参考 NIO和零拷贝 传统I/O拷贝 当执行read() 和 write() 操作的时候 如何使用变化的 (切换)当执行read操作的时候，会从 用户态(user context) 切换成 内核态(kernel context) (拷贝)然后通过DMA(Dire...
Netty(三):NIO与零拷贝
张不帅
06-16 409
文章目录什么是零拷贝传统IO模型mmap 优化sendFile优化mmap和sendFile区别案例 传统IO与NIO传输文件时间对比 什么是零拷贝 传统Linux操作系统的标准IO接口基于数据拷贝,虽然不需要进行实际物理磁盘的IO操作,但是传输过程中的数据拷贝操作会极大消耗CPU,造成操作系统的有效数据传输操作能力,零拷贝在数据拷贝同时允许CPU执行其他的任务 在java程序中常用的零拷贝有mmap(内存映射)和sendFile 传统IO模型 File file = new File("test.txt"
Netty学习之NIO零拷贝
代码缔造者的博客
05-23 194
概念 零拷贝是一种I/O操作优化技术，可以快速高效将数据从文件系统移动到网络接口，而不需要将其从内核空间复制到用户空间，尤其在FTP或者HTTP等协议中可以显著提升性能。但是目前只有在使用NIO或者Epoll 传输时才可以使用该特性。 传统I/O读写过程 这里按照一个我们常用功能即从我们服务器传输文件到目标服务器。 也就是文件从我们应用程序读到数据再把数据写入到网络传输到目标服务器中。 读操作 如图所示分为以下几个步骤： 我们应用程序读取数据 首先触发read()系统调用.这时候操作系统会进行一次
物联网netty对接socket设备-netty定义
01-20
NIO中的特性之一就是零拷贝，在Java中，内存分为堆和栈以及字符串常量值等等，如果有一些数据从IO中读取并且放到堆里面，中间会经过一些缓冲区。 具体来讲，如果要从IO中读取数据，分为两个步骤： (1）从IO流中读取...
精通并发与netty 无加密视频
04-13
第51讲：NIO零拷贝彻底分析与Gather操作在零拷贝中的作用详解 第52讲：NioEventLoopGroup源码分析与线程数设定 第53讲：Netty对Executor的实现机制源码分析 第54讲：Netty服务端初始化过程与反射在其中的应用分析...
Netty面试专题.pdf
08-08
1.BIO、NIO 和 AIO 的区别？ 2.NIO 的组成？ 3.Netty 的特点？ 4.Netty 的线程模型？ 5.TCP 粘包/拆包的原因及解决方法？...8.Netty 的零拷贝实现？ 9.Netty 的高性能表现在哪些方面？ 10.NIOEventLoopGroup 源码？
精通并发与netty视频教程(2018)视频教程
12-24
51_NIO零拷贝彻底分析与Gather操作在零拷贝中的作用详解 52_NioEventLoopGroup源码分析与线程数设定 53_Netty对Executor的实现机制源码分析 54_Netty服务端初始化过程与反射在其中的应用分析 55_Netty提供的Future与...
四、Netty核心技术之NIO与零拷贝
猿小许的博客
11-02 301
一、零拷贝 1.1 零拷贝基本介绍 零拷贝是网络编程的关键，很多性能优化都离不开 在Java程序中，常用的零拷贝有mmap(内存映射）和sendFile。那么，他们在OS里，到底是怎么样的一个设计？我们分析mmap和sendFile这两个零拷贝 另外我们看下NIO中如何使用零拷贝 1.2 传统IO数据读写与零拷贝对比 1.2.1 Java传统IO File file = new File("test.txt"); try { RandomAccessFile r
零拷贝
lqadam的博客
12-14 1410
今日看rocketMQ的设计，读到如何提高broker的发送性能，看到了使用mmp(文件内存映射)的技术，零拷贝，提高了数据从文件到内存再到网络的传输效率。这里有点迷糊，所以详细google了一把。特写下来留作记录。 内容都是来自于已有的东西，都放到后文的参考文档里面，参考文档比我详细多了，有图有解释，有理论，甚至有代码，如果能看参考文档的原文的话，建议看原文。 概念澄清 “零拷贝”：在...
netty的零拷贝
weixin_39312465的博客
04-24 350
有两个。 一个是指mmap+write零拷贝， 还有一个是指compoiste,将两个buffer合并成一个
netty源码分析(二十)NIO堆外内存与零拷贝深入讲解
wzq6578702的专栏
11-18 6616
ByteBuffer byteBuffer = ByteBuffer.allocateDirect(512); 直接内存：返回DirectByteBuffer对象，DirectByteBuffer的父类是MappedByteBuffer ，MappedByteBuffer 的父类是ByteBuffer ， 在ByteBuffer的上边是Buffer，在 Buffer里边有一个
Netty学习笔记_8(NIO与零拷贝)
feiku_ysu的博客
07-21 216
1、零拷贝基本介绍 传统IO是基于数据拷贝操作的，即让数据在操作系统内核地址空间的缓冲区和用户程序地址空间定义的缓冲区进行传输【PS：减少了磁盘IO，但增加了CPU开销( CPU会进行多次冗余拷贝，且在数据拷贝过程中有极大的系统资源浪费 )】 零拷贝是一种避免CPU将数据从一个存储块拷贝到另一块存储的技术【避免数据拷贝+多种操作结合】(所谓“零拷贝”，是没有CPU拷贝) 1.2、传统IO（本地文件数据上传）【4次拷贝，3次切换】 应用程序调用read()方法，先将数据从磁盘读取到OS内核缓冲区，采用D
[Netty] NIO和零拷贝
GxDong_的博客
12-20 234
零拷贝指不发生CPU拷贝 传统IO 经历了4次拷贝、三次上下文切换 4次拷贝： DMA（直接内存拷贝）拷贝到内核buffer CPU拷贝到用户Buffer —用户进行修改操作— CPU拷贝到SocketBuffer DMA拷贝到协议栈 mmap内存映射优化 经历了3次拷贝、3次上下文切换（内核缓冲和User缓冲共享数据） 三次拷贝 DMA（直接内存拷贝） CPU拷贝 —用户进行修改操作— DMA拷贝到协议栈 sendFile优化(Linux 2.1) 经历了3次拷贝、2次上下文切换（数据不经过用
深入理解Linux, NIO和Netty中的零拷贝(Zero-Copy)
Night Field' Blog
06-10 1845
背景 零拷贝(Zero Copy)是一个耳熟能详的术语，众多高性能的网络框架如Netty，Kafka，Rocket MQ都将零拷贝标榜为其特性。那么究竟什么是零拷贝？ 零拷贝 Wikipedia上对零拷贝的解释如下： “Zero-copy” describes computer operations in which the CPU does not perform the task of copying data from one memory area to another. This is freq
Netty 源码分析 —— NIO 基础（五）之零拷贝与其它源码解读
Aussme的博客
02-14 298
我准备战斗到最后，不是因为我勇敢，是我想见证一切。 --双雪涛《猎人》 文章目录我准备战斗到最后，不是因为我勇敢，是我想见证一切。 --双雪涛《猎人》1、NIO堆外内存与零拷贝NIO堆外内存图解Direct Memory/Non Direct Memory问题JVM管理内的堆内存中的对象具体是怎么进行I/O操作的。为何要引入这种机制，使用堆外内存呢？那么在ByteBuffer创建的堆...
netty入门(二)NIO的零拷贝
weixin_42412601的博客
06-03 335
目录传统IO的读写mmap 优化sendFilemmap 和 sendFile 的区别NIO中的零拷贝（transferTo）： 零拷贝是网络编程的关键，很多性能优化都离不开它。 零拷贝是指：从操作系统的角度来看，文件的传输不存在CPU的拷贝，只存在DMA拷贝。 在Java程序中，常用的零拷贝有mmap（内存映射）和 sendFile。 零拷贝不仅仅带来更少的数据复制，还能减少线程的上下文切换，减少CPU缓存伪共享以及无CPU校验和计算。 传统IO的读写 File file = new File("te
netty零拷贝的方法
最新发布
04-12
在Netty中，零拷贝是一种优化技术，可以减少数据在内存中的复制次数，提高数据传输的效率。 Netty实现零拷贝的方法主要有两种： 1. 使用文件传输（File Transfer）：Netty提供了`FileRegion`接口，可以直接将文件...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值