Netty零拷贝的一点个人理解

最新推荐文章于 2024-08-01 10:41:54 发布

po916

最新推荐文章于 2024-08-01 10:41:54 发布

阅读量179

点赞数

分类专栏： java

本文链接：https://blog.csdn.net/kyo472083100/article/details/86625796

版权

java 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

堆内存在jvm的内存范围之内，系统进行io操作时会将数据区域拷贝一份到os的内存区域（系统内存空间），零拷贝实质就是省略了从jvm内存复制到系统的内存缓冲区的步骤。

1.为什么系统进行io操作时必须将数据区域拷贝一份到os的内存区域？

因为jvm会对它所管理的内存区域进行gc回收，或者内存地址移动，可能会对这块内存的数据进行更改，根据我们的假设，由于这块区域os也在使用，jvm对这块共享数据发生了变更，os那边就会出现数据错乱的情况。

2.可以在io过程中锁定对象地址吗？

如果要把一个Java里的 byte[] 对象的引用传给native代码，让native代码直接访问数组的内容的话，就必须要保证native代码在访问的时候这个 byte[] 对象不能被移动，也就是要被“pin”（钉）住。

可惜HotSpot VM出于一些取舍而决定不实现单个对象层面的object pinning，要pin的话就得暂时禁用GC——也就等于把整个Java堆都给pin住。HotSpot VM对JNI的Critical系API就是这样实现的。这用起来就不那么顺手。

参考: https://www.zhihu.com/question/57374068

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

po916

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

【成为架构师课程系列】消息队列：秒杀时如何处理每秒上万次的下单请求？

程序员光剑

02-05

1万+

幂等是一个数学上的概念，它的含义是多次执行同一个操作和执行一次操作，最终得到的结果是相同的，说起来可能有些抽象，我给你举个例子：比如，男生和女生吵架，女生抓住一个点不放，传递你不在乎我了吗？（生产消息）的信息。那么当多次埋怨你不在乎我了吗？的时候（多次生产相同消息），她不知道的是，男生的耳朵（消息处理）会自动把 N 多次的信息屏蔽，就像只听到一次一样，这就是幂等性。如果我们消费一条消息的时候，要给现有的库存数量减 1，那么如果消费两条相同的消息就会给库存数量减 2，这就不是幂等的。

BAT 大厂Java 面试题集锦之核心篇附参考答案

最新发布

weixin_68074170的博客

08-01

1058

直接内存也称为堆外内存，也就是不受JVM控制的内存。Netty 的接收和发送 ByteBuffer 采用 DIRECT BUFFERS，使用堆外直接内存进行 Socket 读写，不需要进行字节缓冲区的二次拷贝。如果使用传统的堆内存（HEAP BUFFERS）进行 Socket 读写，JVM 会将堆内存 Buffer 拷贝一份到直接内存中，然后才写入 Socket 中。相比于堆外直接内存，消息在发送过程中多了一次缓冲区的内存拷贝。

netty中的零拷贝

胜天半子

03-03

4445

Netty中的零拷贝与我们传统理解的零拷贝不太一样。传统的零拷贝指的是数据传输过程中，不需要CPU进行数据的拷贝，即零拷贝是不需要数据在用户空间与内核中间之间的拷贝。一、传统的零拷贝含义这种方式需要四次数据拷贝和四次上下文切换：数据从磁盘读取到内核的read buffer 数据从内核缓冲区拷贝到用户缓冲区数据从用户缓冲区拷贝到内核的socket buffer 数据从内核的socket ...

Netty 的零拷贝

荣山的博客

12-23

3531

Netty 的零拷贝

Netty的零拷贝

ZhiguoXue_IT的博客

06-21

582

netty本质上就是一款优秀的网络编程框架，凭借自己基于NIO编程，零拷贝等技术细节，

Netty要想学得好，就看这条核心主线

Cr1556648487的博客

09-09

214

上面只是说了一些相对而言核心的点，其实 ServerBootstrap 还有很多配置，比如 option、childOption 等等，这些后面的文章再详谈。至于绑定端口、关闭这类就不提了，上面的核心逻辑吃完，后面再写。通过这篇和上篇的俯瞰，我相信你对 Netty 应该已经有一点感觉了，下篇开始我们就要深入细节啦！可能会涉及挺多源码，大家可不要被劝退了啊！想想之后的简历，哈哈。

【硬刚大数据之学习路线篇】2021年从零到大数据专家的学习指南(全面升级版)

微信搜：import_bigdata，大数据领域硬核原创作者

07-25

3468

????欢迎关注博客主页：https://blog.csdn.net/u013411339 ????欢迎点赞 ???? 收藏 ⭐留言 ???? ，欢迎留言交流！ ????本文由【王知无】原创，首发于 CSDN博客！声明：本篇博客在我之前发表的文章基础上进行了大量更新，旨在给大数据领域的新人提供一份相识的，未来天花板较高的学习路线。在原文的基础上，新增了大数据最火热方向的详细学习路径，例如Flink和Spark的详细学习路径。并且在面试部分进行了整理，将过去我个人面试超过2000+人次的经历进行了系统

操作系统（六）：网络系统

weixin_48922154的博客

08-11

911

文章目录1. 零拷贝1.1 DMA 技术2. I/O 多路复用3. Reactor 和 Proactor 模式 1. 零拷贝 1.1 DMA 技术 2. I/O 多路复用 3. Reactor 和 Proactor 模式

netty-零拷贝

godme

02-10

380

回顾之前总结的DirectBuffer如此 device OS JVMcopyI/OaddressI/OdiskheapMemoryCopydirectMemoryheapObjectdirectObjectheapMemory 这个让我们感觉的，就是Direct会比Heap更快速。但是追根究底，这只是表面差异，为了更高的性能，我们可以说应该完全舍弃Heap。把Diret和Heap的区别扩...

Netty的零拷贝(Zero-Copy)

CodingAnHour

07-31

2757

Netty提供CompositeByteBuf组合缓冲区类，可以将多个ByteBuf合并为一个逻辑上的ByteBufer，避免了各个ByteBufer之间的拷贝，将几个小buffer合并成一个大buffer的繁琐操作。Netty中的零拷贝和操作系统层面上的零拷贝是有区别的，不能混淆，Netty零拷贝完全是基于Java层面或者说用户空间的，它更多的是偏向于应用中的数据操作优化，而不是系统层面的操作优化。Netty的零拷贝(Zero-Copy)主要体现在五个方面。，使用堆外直接内存进行Socket读写，...

Netty中的零拷贝

SmallCatBaby的博客

05-01

2756

一.零拷贝的定义 Zero-copy, 就是在操作数据时, 不需要将数据 buffer 从一个内存区域拷贝到另一个内存区域. 因为少了一次内存的拷贝, 因此 CPU 的效率就得到的提升. 在 OS 层面上的 Zero-copy 通常指避免在用户态(User-space) 与内核态(Kernel-space) 之间来回拷贝数据。但Netty 中的 Ze...

Netty: 零拷贝（Zero-copy）技术

玉汝于成

05-22

1148

零拷贝（Zero-copy）技术是指计算机执行操作时，CPU不需要先将数据从某处内存复制到另一个特定区域。这种技术通常用于通过网络传输文件时节省CPU周期和内存带宽。零拷贝技术的主要原理是通过减少数据在用户空间与内核空间之间切换模式的次数，以及减少数据的拷贝次数，来提高数据传输效率。

netty学习十三:零拷贝底层实现原理

Sam_Deep_Thinking

08-28

1万+

零拷贝概述零拷贝可以避免无谓的copy动作,为了说清楚这一点,本文会先从传统的读写操作开始介绍。传统读操作当应用发起一个从磁盘读取文件的操作时,请求会先经过内核,由内核与磁盘进行交互。数据会从磁盘拷贝到内核的缓存区中。这个copy动作由DMA完成,整个过程中基本上不消耗CPU。DMA 硬件和软件的信息传输,可以使用DMA(direct memory access)来完成如果应用想拿到信息,还得

Netty 高性能之零拷贝

程序猿进阶

07-24

1313

Netty 零拷贝详解

【Netty基础】Netty的“零拷贝”

白夜行

06-16

1万+

零拷贝的定义 Zero-copy, 就是在操作数据时, 不需要将数据 buffer 从一个内存区域拷贝到另一个内存区域. 因为少了一次内存的拷贝, 因此 CPU 的效率就得到的提升. 在 OS 层面上的 Zero-copy 通常指避免在用户态(User-space) 与内核态(Kernel-space) 之间来回拷贝数据。但Netty 中的 Zero-copy 与 OS 的 Zero-copy

netty零拷贝原理

03-27

Netty是一个基于Java的高性能网络应用框架，它提供了一种零拷贝（Zero-copy）的机制来提高数据传输的效率。零拷贝是指在数据传输过程中，避免了数据的多次拷贝操作，减少了CPU和内存的开销。 Netty实现零拷贝的原理如下： 1. 使用直接内存缓冲区：Netty使用了直接内存缓冲区（Direct Buffer），它是在堆外分配的内存，不受Java堆大小的限制。直接内存可以通过操作系统的DMA（Direct Memory Access）机制直接与网络设备进行数据传输，避免了数据在Java堆和直接内存之间的拷贝。 2. 零拷贝文件传输：Netty提供了FileRegion接口，可以将文件的内容直接发送到网络中，而无需将文件内容读取到用户空间再写入到网络中。这样可以避免了数据在用户空间和内核空间之间的拷贝。 3. 零拷贝数据传输：Netty使用了零拷贝的方式将数据从Socket缓冲区读取到用户空间或者从用户空间写入到Socket缓冲区。它通过使用零拷贝的API（如gather和scatter）来实现数据的传输，避免了数据在内核空间和用户空间之间的拷贝。通过使用直接内存缓冲区、零拷贝文件传输和零拷贝数据传输等技术，Netty能够在数据传输过程中减少数据的拷贝次数，提高了数据传输的效率和性能。