微信公众号:大黄奔跑
关注我,可了解更多有趣的面试和编程相关问题。
写在之前
Hello,大家好,我是只会写 HelloWorld
的程序员大黄。
正所谓学而不思则罔,最近在温习 Netty
相关知识,目前的想法是这段时间内会持续地写 Netty
相关的知识,从Java NIO
开始,贯穿着 Netty
的实现过程,Netty
的源码分析, 最终会以 Netty
实现一个简单的 rpc
框架为结束,可能这种文章会让本号原本不多阅读量雪上加霜,还是谁知道呢,如果对于该系列有兴趣的朋友,欢迎持续关注更新……
与大部分介绍 Netty
的文章结构相似,我仍然会介绍 Netty
的前世由来 ,然后再介绍今生何处,只有明白了缘为何而起?才能知道为何而灭。
前一篇介绍了 BIO
和 NIO
的区别(),这是我绘制的一张 NIO
的模型图。其中的 Selector
、channel
、Buffer
是最核心的三个概念,本篇主要介绍 NIO
中 Buffer
是什么、有什么用,为何需要。
一桌好菜
从上面 NIO
的模型图,可以看出 Buffer
的是客户端输入数据主要的"承载容器",为何需要 Buffer
呢?想知道为何需要 Buffer
,可以了解在 Buffer
以前存在何种问题。
试想一下,如果想往某个地方写入一些数据,最初默认肯定是 new
一个数组,以byte为例,构造一个 byte[]
,可以稍稍了解一下 JVM
底层模型,数组是被分配到堆中的,也就是说如果用数组,只能使用Java堆中的内存。那堆外的内存如何操作,程序员说是不是还得自己去操作计算机底层数据?比如通过 malloc() / mmap()
等申请出来的空间存储实际数据,然后再往存储空间中写入数据,其编程效率可想而知。
Buffer
刚可以可以封装这种抽象,利用一种 buffer
来直接操作底层数据,而不需要关心底层数据到底存储到哪里。
什么是Buffer
缓冲区(Buffer
):缓冲区本质上是一个可以读写数据的内存块,可以理解成是一个容器对象(含数组)。其实就是对原生数组的封装。
该对象提供了一组方法,可以更轻松地使用内存块,缓冲区对象内置了一些机制,能够跟踪和记录缓冲区的状态变化情况。
正常的无论是数组还是列表,其内部维护数据的访问一般用两个索引,比如最大的元素索引,当前元素索引,但是Buffer借用多个属性将 数组的读写进行了分离,通过几个变量来维护数组内部读写机制。
Buffer 的四大助手
Capacity
和数组相似,buffer用Capacity来描述buffer可以容纳的数据元素的最大数量,一旦设置就不能更改。
Position
如何计算下一次要访问的位置?
利用 Position 来表示缓冲区内下一个将要被读或写的元素位置。是不是有点像我们通常访问数组时最喜欢用的下标i,初始情况下,该值为0,当有一个值写入到缓冲时,position +1,写最大的数量不能超过缓冲的最大容量(position最大可为 (capacity-1) )。
但是读和写模式切换的情况下,该值会发生变化,当由写模式切换到读模式时,position会被重新置为0,表示从0开始读取。
Limit
巧妙地利用 Limit
来控制缓冲区中第一个不能被读或者写的元素位置。
如果是写模式:表示你最多能往 Buffer 里写多少数据。 写模式下,limit等于Buffer的capacity
如果是读取模式:表示你最多能读到多少数据。因此,当切换Buffer到读模式时,limit会被设置成写模式下的position值。(比如,你往银行卡里面存了100块,取的时候肯定最多只能够取到100块)
mark
用于记录当前 position
的位置,可以通过 可以利用合适的方式恢复 position
的位置。
以下面例子为例,简单说明一下四大助手的作用
public class BufferExample {
public static void main(String[] args) {
// 1. 创建一个Buffer,大小为5,即可以存放5个int
IntBuffer intBuffer = IntBuffer.allocate(5);
// 2. 向buffer中存放数据
for (int i = 0; i < intBuffer.capacity(); i++) {
intBuffer.put(i * 2);
}
// 3. 如何从buffer中读取数据,将buffer转换,读写切换
intBuffer.flip();
// 4. 读取数据
while (intBuffer.hasRemaining()) {
System.out.println(intBuffer.get());
}
}
}
有哪些数据类型
前面我们说过buffer其实是对基本数据类型的封装,大概的类型如下,主要是针对不同的数据类型的包装。
小试牛刀
让我们看看buffer中针对于读、写、数据切换有哪些基本的工具可以供使用。
分配空间
如上代码所示,JDK本身提供了基本的方式来分配空间大小。
IntBuffer intBuffer = IntBuffer.allocate(5);
这里我们分配了大小为5的 int 空间
写入数据
JDK提供了两种方式写入数据
第一种:通过put()方法写到Buffer里
第二种:从Channel写到Buffer。(比如,如果我们想把水从一个水缸移到另一个中,每次都用杯子舀水,你觉得这样效率如何?能不能借来一个桶,将水先倒入到桶里,待桶满了之后,再倒入到另一个水缸。这里的杯子相当于是 channel
,水桶相当于Buffer
)
// 从channel中读取数据,写入到buffer中
int bytesRead = inChannel.read(buf);
读取数据
同样有两种方式:
第一种: 使用get()方法从Buffer中读取数据
第二种: 从Buffer读取数据到Channel。
//从buffer中读取数据,写入到channel中
int bytesWritten = inChannel.write(buf);
**注:**很多人对于从什么时候用write、什么时候用read有点混淆,说一下自己的理解,
我个人解决可以锚定一个方向,比如站在buffer
的角度,如果写入数据,是不是需要从channel中读取了;如果想要读取数据,需要考虑从buffer中读取了,存到何方的问题。
读写模式切换
可以通过 flip()
方法将 Buffer
从写模式切换到读模式。
调用 flip()
方法会将 position
设回0,并将 limit
设置成之前 position
的值。
可以看一下源码是如何做的
public final Buffer flip() {
limit = position;
position = 0;
mark = -1;
return this;
}
清空buffer空间
一旦读完 Buffer
中的数据,需要让 Buffer
准备好再次被写入。如果空间被读满了,如何清除呢?可以通过 clear()
或 compact()
方法来完成
clear()
方法
position
将被设回0,limit
被设置成 capacity
的值。换句话说,Buffer
被清空了。Buffer
中的数据并未清除,只是这些标记告诉我们可以从哪里开始往 Buffer
里写数据。
后续写入的时候不再有任何标记会告诉你哪些数据被读过,哪些还没有,实际就成了脏数据。
下面以一张图为例:
注意下面源码中capacity仍然不变哦。
public final Buffer clear() {
position = 0;
limit = capacity;
mark = -1;
return this;
}
compact()方法
将所有未读的数据拷贝到 Buffer
起始处。然后将 position
设到最后一个未读元素正后面。limit
属性依然像clear()
方法一样,设置成 capacity
。现在 Buffer
准备好写数据了,但是不会覆盖未读的数据。
以下图为例
public ByteBuffer compact() {
int pos = position();
int lim = limit();
assert (pos <= lim);
int rem = (pos <= lim ? lim - pos : 0);
// 直接调用底层方法将内存进行拷贝
unsafe.copyMemory(ix(pos), ix(0), (long)rem << 0);
position(rem);
limit(capacity());
discardMark();
return this;
}
打个标记
通过调用Buffer.mark()
方法,可以标记 Buffer
中的一个特定 position
。之后可以通过调用Buffer.reset()
方法恢复到这个 position
。
如何比较两个buffer是否相同
equals()
当满足下列条件时,表示两个 Buffer
相等:
- 有相同的类型(
byte、int
等)。 Buffer
中剩余的byte、char
等的个数相等。Buffer
中所有剩余的byte、char
等都相同。
equals
只是比较 Buffer
的一部分,不是每一个在它里面的元素都比较。实际上,它只比较 Buffer
中的剩余元素。
buffer比较
compareTo()
方法比较两个 Buffer
的剩余元素(byte、char
等), 如果满足下列条件,则认为一个 Buffer
“小于”另一个 Buffer
:
- 第一个不相等的元素小于另一个
Buffer
中对应的元素 。 - 所有元素都相等,但第一个
Buffer
比另一个先耗尽(第一个Buffer
的元素个数比另一个少)。
总结
本文主要介绍了 NIO
中 buffer
含义及作用,秉着说人话的初衷写本篇文章,深知写让人通俗易懂的文章之难,查阅了诸多资料,如有一些思考不正确,还往指正及互相交流。
我写得不一定对,但我写得一定是我目前认知范围内给到的最好的。
参考:
[1]. http://tutorials.jenkov.com/java-nio/buffers.html
[2].《Netty实战》
Netty开胃菜——图解NIO Buffer
写在之前
微信公众号:大黄奔跑
关注我,可了解更多有趣的面试和编程相关问题。
写在之前
Hello,大家好,我是只会写 HelloWorld
的程序员大黄。
正所谓学而不思则罔,最近在温习 Netty
相关知识,目前的想法是这段时间内会持续地写 Netty
相关的知识,从Java NIO
开始,贯穿着 Netty
的实现过程,Netty
的源码分析, 最终会以 Netty
实现一个简单的 rpc
框架为结束,可能这种文章会让本号原本不多阅读量雪上加霜,还是谁知道呢,如果对于该系列有兴趣的朋友,欢迎持续关注更新……
与大部分介绍 Netty
的文章结构相似,我仍然会介绍 Netty
的前世由来 ,然后再介绍今生何处,只有明白了缘为何而起?才能知道为何而灭。
前一篇介绍了 BIO
和 NIO
的区别(),这是我绘制的一张 NIO
的模型图。其中的 Selector
、channel
、Buffer
是最核心的三个概念,本篇主要介绍 NIO
中 Buffer
是什么、有什么用,为何需要。
一桌好菜
从上面 NIO
的模型图,可以看出 Buffer
的是客户端输入数据主要的"承载容器",为何需要 Buffer
呢?想知道为何需要 Buffer
,可以了解在 Buffer
以前存在何种问题。
试想一下,如果想往某个地方写入一些数据,最初默认肯定是 new
一个数组,以byte为例,构造一个 byte[]
,可以稍稍了解一下 JVM
底层模型,数组是被分配到堆中的,也就是说如果用数组,只能使用Java堆中的内存。那堆外的内存如何操作,程序员说是不是还得自己去操作计算机底层数据?比如通过 malloc() / mmap()
等申请出来的空间存储实际数据,然后再往存储空间中写入数据,其编程效率可想而知。
Buffer
刚可以可以封装这种抽象,利用一种 buffer
来直接操作底层数据,而不需要关心底层数据到底存储到哪里。
什么是Buffer
缓冲区(Buffer
):缓冲区本质上是一个可以读写数据的内存块,可以理解成是一个容器对象(含数组)。其实就是对原生数组的封装。
该对象提供了一组方法,可以更轻松地使用内存块,缓冲区对象内置了一些机制,能够跟踪和记录缓冲区的状态变化情况。
正常的无论是数组还是列表,其内部维护数据的访问一般用两个索引,比如最大的元素索引,当前元素索引,但是Buffer借用多个属性将 数组的读写进行了分离,通过几个变量来维护数组内部读写机制。
Buffer 的四大助手
Capacity
和数组相似,buffer用Capacity来描述buffer可以容纳的数据元素的最大数量,一旦设置就不能更改。
Position
如何计算下一次要访问的位置?
利用 Position 来表示缓冲区内下一个将要被读或写的元素位置。是不是有点像我们通常访问数组时最喜欢用的下标i,初始情况下,该值为0,当有一个值写入到缓冲时,position +1,写最大的数量不能超过缓冲的最大容量(position最大可为 (capacity-1) )。
但是读和写模式切换的情况下,该值会发生变化,当由写模式切换到读模式时,position会被重新置为0,表示从0开始读取。
Limit
巧妙地利用 Limit
来控制缓冲区中第一个不能被读或者写的元素位置。
如果是写模式:表示你最多能往 Buffer 里写多少数据。 写模式下,limit等于Buffer的capacity
如果是读取模式:表示你最多能读到多少数据。因此,当切换Buffer到读模式时,limit会被设置成写模式下的position值。(比如,你往银行卡里面存了100块,取的时候肯定最多只能够取到100块)
mark
用于记录当前 position
的位置,可以通过 可以利用合适的方式恢复 position
的位置。
以下面例子为例,简单说明一下四大助手的作用
public class BufferExample {
public static void main(String[] args) {
// 1. 创建一个Buffer,大小为5,即可以存放5个int
IntBuffer intBuffer = IntBuffer.allocate(5);
// 2. 向buffer中存放数据
for (int i = 0; i < intBuffer.capacity(); i++) {
intBuffer.put(i * 2);
}
// 3. 如何从buffer中读取数据,将buffer转换,读写切换
intBuffer.flip();
// 4. 读取数据
while (intBuffer.hasRemaining()) {
System.out.println(intBuffer.get());
}
}
}
有哪些数据类型
前面我们说过buffer其实是对基本数据类型的封装,大概的类型如下,主要是针对不同的数据类型的包装。
小试牛刀
让我们看看buffer中针对于读、写、数据切换有哪些基本的工具可以供使用。
分配空间
如上代码所示,JDK本身提供了基本的方式来分配空间大小。
IntBuffer intBuffer = IntBuffer.allocate(5);
这里我们分配了大小为5的 int 空间
写入数据
JDK提供了两种方式写入数据
第一种:通过put()方法写到Buffer里
第二种:从Channel写到Buffer。(比如,如果我们想把水从一个水缸移到另一个中,每次都用杯子舀水,你觉得这样效率如何?能不能借来一个桶,将水先到入到桶里,待桶满了之后,再到入到另一个水缸。这里的杯子相当于是 channel
,水桶相当于Buffer
)
// 从channel中读取数据,写入到buffer中
int bytesRead = inChannel.read(buf);
读取数据
同样有两种方式:
第一种: 使用get()方法从Buffer中读取数据
第二种: 从Buffer读取数据到Channel。
//从buffer中读取数据,写入到channel中
int bytesWritten = inChannel.write(buf);
**注:**很多人对于从什么时候用write、什么时候用read有点混淆,说一下自己的理解,
我个人解决可以锚定一个方向,比如站在buffer
的角度,如果写入数据,是不是需要从channel中读取了;如果想要读取数据,需要考虑从buffer中读取了,存到何方的问题。
读写模式切换
可以通过 flip()
方法将 Buffer
从写模式切换到读模式。
调用 flip()
方法会将 position
设回0,并将 limit
设置成之前 position
的值。
可以看一下源码是如何做的
public final Buffer flip() {
limit = position;
position = 0;
mark = -1;
return this;
}
清空buffer空间
一旦读完 Buffer
中的数据,需要让 Buffer
准备好再次被写入。如果空间被读满了,如何清除呢?可以通过 clear()
或 compact()
方法来完成
clear()
方法
position
将被设回0,limit
被设置成 capacity
的值。换句话说,Buffer
被清空了。Buffer
中的数据并未清除,只是这些标记告诉我们可以从哪里开始往 Buffer
里写数据。
后续写入的时候不再有任何标记会告诉你哪些数据被读过,哪些还没有,实际就成了脏数据。
下面以一张图为例:
注意下面源码中capacity仍然不变哦。
public final Buffer clear() {
position = 0;
limit = capacity;
mark = -1;
return this;
}
compact()方法
将所有未读的数据拷贝到 Buffer
起始处。然后将 position
设到最后一个未读元素正后面。limit
属性依然像clear()
方法一样,设置成 capacity
。现在 Buffer
准备好写数据了,但是不会覆盖未读的数据。
以下图为例
public ByteBuffer compact() {
int pos = position();
int lim = limit();
assert (pos <= lim);
int rem = (pos <= lim ? lim - pos : 0);
// 直接调用底层方法将内存进行拷贝
unsafe.copyMemory(ix(pos), ix(0), (long)rem << 0);
position(rem);
limit(capacity());
discardMark();
return this;
}
打个标记
通过调用Buffer.mark()
方法,可以标记 Buffer
中的一个特定 position
。之后可以通过调用Buffer.reset()
方法恢复到这个 position
。
如何比较两个buffer是否相同
equals()
当满足下列条件时,表示两个 Buffer
相等:
- 有相同的类型(
byte、int
等)。 Buffer
中剩余的byte、char
等的个数相等。Buffer
中所有剩余的byte、char
等都相同。
equals
只是比较 Buffer
的一部分,不是每一个在它里面的元素都比较。实际上,它只比较 Buffer
中的剩余元素。
buffer比较
compareTo()
方法比较两个 Buffer
的剩余元素(byte、char
等), 如果满足下列条件,则认为一个 Buffer
“小于”另一个 Buffer
:
- 第一个不相等的元素小于另一个
Buffer
中对应的元素 。 - 所有元素都相等,但第一个
Buffer
比另一个先耗尽(第一个Buffer
的元素个数比另一个少)。
总结
本文主要介绍了 NIO
中 buffer
含义及作用,秉着说人话的初衷写本篇文章,深知写让人通俗易懂的文章之难,查阅了诸多资料,如有一些思考不正确,还往指正及互相交流。
我写得不一定对,但我写得一定是我目前认知范围内给到的最好的。
参考:
[1]. http://tutorials.jenkov.com/java-nio/buffers.html
[2].《Netty实战》