Netty 教程 – ByteBuf详解

ByteBuffer存在的问题

ByteBuffer是JDK1.4中提供的java.nio.Buffer, 在内存中预留指定大小的存储空间来存放临时数据，其他Buffer的子类有：CharBuffer、DoubleBuffer、FloatBuffer、IntBuffer、LongBuffer 和 ShortBuffer

• ByteBuffer的长度是固定的，一旦分配完成，容量就无法动态扩容收缩，分多了会浪费内存，分少了存放大的数据时会索引越界（当传输数据大于初始化长度时，会出现BufferOverflowException索引越界的异常），所以使用ByteBuffer时，为了解决这个问题，我们一般每次put操作时，都会对可用空间进行校检，如果剩余空间不足，需要重新创建一个新的ByteBuffer，然后将旧的ByteBuffer复制到新的ByteBuffer中去
• ByteBuffer中只有通过position获得当前可操作的位置，调用get()方法，返回ByteBuffer[postion]处的值，如果是调用put方法,将数据放入ByteBuffer[postion]的位置
• API功能有限，部分高级功能并不支持，需开发者自己实现，且使用原生ByteBuffer较为困难（不适合小白专业户）

ByteBuf与ByteBuffer的区别

不同ByteBuf实现原理各不相同，我们先看最基本的ByteBuf与原生的ByteBuffer的区别

ByteBuf buf = Unpooled.buffer(10);
buf.writeBytes("鏖战八方QQ群391619659".getBytes());//扩容算法稍后讲解
System.out.println("Netty：" + buf);
byte[] by = new byte[buf.readableBytes()];
buf.readBytes(by);
System.out.println("Netty：" + new String(by));
System.out.println("//无耻的分割线//");

ByteBuffer bf1 = ByteBuffer.allocate(100);
bf1.put("鏖战八方QQ群391619659".getBytes());
System.out.println("JDK："+bf1);
System.out.println("当前指针：" + bf1.position());
byte[] by1 = new byte[bf1.remaining()];
System.out.println(by1.length);//What's 居然是74
bf1.get(by1);
System.out.println("未使用flip："+new String(by1));//居然是空的
System.out.println("//无耻的分割线//");

ByteBuffer bf2 = ByteBuffer.allocate(100);
bf2.put("鏖战八方QQ群391619659".getBytes());
System.out.println("JDK："+bf2);
System.out.println("当前指针：" + bf2.position());
bf2.flip();
byte[]  by2 = new byte[bf2.remaining()];
System.out.println(by2.length);//是26了
bf2.get(by2);
System.out.println("使用flip："+new String(by2));//拿到了

指针区别

从日志输出中可以看到，使用JDK自带的特别的麻烦，远远没有ByteBuf来的方便，无需关心读写切换指针的问题，在JDK中，由于只有一个一个position指针，我们需要通过flip()进行转换控制，而Netty却可以很好的帮我们做到扩容，它的内部维护了readerIndex与writerIndex两个指针，一开始都是0，随着数据的写入writerIndex会增加但不会超过readerIndex，当我们读取后内部会通过调用discardReadBytes来释放这部分空间，类似ByteBuffer的compact方法，readerIndex与writerIndex都是可读取的，等同ByteBuffer中position -> limit之间的数据，WriterIndex和capacity之间空间是可写的，等同ByteBuffer中limit -> capacity

前面说到过，JDK自带的ByteBuffer无法做到自动扩容，当内容超出的时候会抛出索引越界的异常，接下来看一段代码

ByteBuf buf = Unpooled.buffer(10);
buf.writeBytes("鏖战八方QQ群391619659".getBytes());//扩容算法稍后讲解
System.out.println(buf);
System.out.println("//无耻的分割线//");
ByteBuffer buffer = ByteBuffer.allocate(10);
buffer.put("鏖战八方QQ群391619659".getBytes());
System.out.println(buffer);

问题：为什么Netty的ByteBuf没有报错，capacity为什么会自动扩容呢？扩容的大小是怎么计算的？

@Override
public ByteBuf writeBytes(byte[] src) {
    writeBytes(src, 0, src.length);
    return this;
}

@Override
public ByteBuf writeBytes(byte[] src, int srcIndex, int length) {
    ensureAccessible();
    ensureWritable(length);
    setBytes(writerIndex, src, srcIndex, length);
    writerIndex += length;
    return this;
}

@Override
public ByteBuf ensureWritable(int minWritableBytes) {
    if (minWritableBytes < 0) {
        throw new IllegalArgumentException(String.format(
                "minWritableBytes: %d (expected: >= 0)", minWritableBytes));
    }

    if (minWritableBytes <= writableBytes()) {
        return this;
    }

    if (minWritableBytes > maxCapacity - writerIndex) {
        throw new IndexOutOfBoundsException(String.format(
                "writerIndex(%d) + minWritableBytes(%d) exceeds maxCapacity(%d): %s",
                writerIndex, minWritableBytes, maxCapacity, this));
    }

    // 默认64     当前大小 <<= 1 翻倍
    int newCapacity = calculateNewCapacity(writerIndex + minWritableBytes);

    // Adjust to the new capacity.
    capacity(newCapacity);
    return this;
}

扩容分析

• 调用writeBytes方法后，ByteBuf会修改writerIndex的指针大小，然后判断最小写入字节是否大于0，如果都没内容这不是在玩它么(*^▽^*)
• 接下来是最小写入字节小于或者等于剩余容量，那就返回当前的ByteBuf，也就不会扩容了，因为能装得下
• 接下来继续判断最小写入字节是否大于当前ByteBuf最大容量 - 已使用容量，如果最大容量都装不下说明这已经没法继续玩了，只能装这么多，扩容不了
• 最后就是扩容处理了，Netty的做法是默认64字节，小于阀值取64，大于取64 <<= 1，成倍递增

相比其它的JAVA对象，缓冲区的分配(包括动态扩容)与释放是一个耗时操作，因此需要尽可能的复用

@Override
public ByteBuf discardReadBytes() {
    ensureAccessible();
    if (readerIndex == 0) {
        return this;
    }

    if (readerIndex != writerIndex) {
        setBytes(0, this, readerIndex, writerIndex - readerIndex);
        writerIndex -= readerIndex;
        adjustMarkers(readerIndex);
        readerIndex = 0;
    } else {
        adjustMarkers(readerIndex);
        writerIndex = readerIndex = 0;
    }
    return this;
}

public final Buffer clear() {
    position = 0;
    limit = capacity;
    mark = -1;
    return this;
}