Express全系列教程之(十六)：认识Buffer

一、简介

在nodejs中，我们无法直接发送二进制数据，如图像、视频等媒体文件。而Buffer的出现就是专门用来存储二进制数据的。Buffer是node.js的核心模块，因此它可以直接通过Buffer.from();来将数据存储进被分配的内存中。

Buffer.from(str);

我们写入的虽然是字符串，但当我们打印后得到的确实16进制数据，也因为如此，一个Buffer所对应的取值范围为00-FF，即0-255之间，而对应的二进制则是：00000000-11111111（一位代表四位二进制数）。
在这里我们可以了解一下数据存储规则：

一位二进制=1bit
8bit=1byte（一字节）
1kb=1024byte

在这里，因为字母汉字在所占内存容量也有所不同，如下：

	var str="Hello 李"
	var buf=Buffer.from(str,"UTF-8");
	console.log(str.length);	// 7
	console.log(buf.length);	// 9

我们可以看到，这里一个字是占3个字节的。

二、创建Buffer 类

1.可以通过 Buffer.alloc(size);来创建一个固定长度的Buffer类，且空间是连续的；
Nodejs并不会去操作内存，它把这一工作交给C++完成内存分配申请，再通过JavaScript进行管理。

var buf=Buffer.alloc(5);	//分配长度为5的连续内存空间,他的初始值为0

我们也可以为创建的内存空间赋值：

buf[0]=39;		//39
buf[1]=-100;		//156
buf[2]=257;		//256
buf[3]=0xaa		//170
buf[5]=1			//打印buf时，值不会变化

值得注意的是Buffer一旦创建，它的值就不会改变。想在创建时分配器初始值，则可写为：
Buffer.alloc(10, 1); 它每一项的初始值都会为01

2.通过Buffer.allocUnsafe(10);来创建固定长度Buffer，通过allocUnsafe创建的内存空间将不会初始化数据，返回的 Buffer 实例可能包含旧数据。

四、缓冲区操作

1.写入缓冲区

buf.write(string[, offset[, length]][, encoding]);

string - 写入缓冲区的字符串。
offset - 缓冲区开始写入的索引值，默认为 0 。
length - 写入的字节数，默认为 buffer.length
encoding - 使用的编码。默认为 'utf8' 。

如果Buffer分配空间不足，则只会写入一部分：

buf = Buffer.alloc(10);
len = buf.write("www.bilibili.com");

console.log("字节数 : "+  len);		//字节数10

2.读取缓冲区数据

buf.toString([encoding[, start[, end]]]);

encoding - 使用的编码。默认为 'utf8' 。
start - 指定开始读取的索引位置，默认为 0。
end - 结束位置，默认为缓冲区的末尾。

实例：

buf = Buffer.alloc(26);
for (var i = 0 ; i < 26 ; i++) {
  buf[i] = i + 97;
}

console.log( buf.toString('ascii'));       // 输出: abcdefghijklmnopqrstuvwxyz
console.log( buf.toString('ascii',0,5));   // 输出: abcde
console.log( buf.toString('utf8',0,5));    // 输出: abcde
console.log( buf.toString(undefined,0,5)); // 使用 'utf8' 编码, 并输出: abcde

3.合并缓冲区

通过 Buffer.concat(list[, totalLength]);合并缓冲区：

var buffer1 = Buffer.from(('张三'));
var buffer2 = Buffer.from(('李四'));
var buffer3 = Buffer.concat([buffer1,buffer2]);
console.log("buffer3： " + buffer3.toString());		//buffer3：张三李四

4.缓冲区前后比较

buf.compare(otherBuffer);可以对缓冲区进行比较：

var buffer1 = Buffer.from('ABC');
var buffer2 = Buffer.from('ABCD');
var result = buffer1.compare(buffer2);

if(result < 0) {
   console.log(buffer1 + " 在 " + buffer2 + "之前");	//ABC在ABCD之前
}else if(result == 0){
   console.log(buffer1 + " 与 " + buffer2 + "相同");
}else {
   console.log(buffer1 + " 在 " + buffer2 + "之后");
}

5.拷贝缓冲区

buf.copy(targetBuffer[, targetStart[, sourceStart[, sourceEnd]]]);

targetBuffer - 要拷贝的 Buffer 对象。
targetStart - 拷贝到目标第几位上，默认0
sourceStart - 从第几位开始拷贝, 默认: 0
sourceEnd - 拷贝结束位，默认: buffer.length

如下实例：

	var buf1 = Buffer.from('abcdefgh');
	var buf2 = Buffer.from('ABC');
	buf2.copy(buf1, 2,0);
	console.log(buf1.toString());	//abABCfgh

6.缓冲区长度

buf.length;即可获得缓冲区长度

var buffer = Buffer.from('www.runoob.com');
//  缓冲区长度
console.log("buffer length: " + buffer.length);	//buffer length: 14

五、关于内存分配

之前js只能处理字符串数据类型，且对字符串的操作都是得到一个新的字符串，不会对源字符串做出改变，而buffer会通过buffer[index]的方式对固定位置的字节进行更改。Buffer是一个典型的Javascript和C++结合的模块，性能相关部分用C++实现，非性能相关部分用javascript实现。Node在进程启动时Buffer就已经加装进入内存，并将其放入全局对象，因此无需require。
Buffer对象的内存分配不是在V8的堆内存中，在Node的C++层面实现内存的申请。
Nodejs采用slab分配机制，slab是一种动态内存管理机制,slab有三种状态：

full：完全分配状态
partial：部分分配状态
empty：没有被分配状态

nodejs会根据分配内存大小对Buffer对象进行分类，申请内存小于4kb时，就会存入初始化的slab单元中。当继续申请小于4kb且当前第一个初始化的8k空间足够的情况下会继续存入第一个初始化的8kkong空间池(如果被初始化的8k池的空间剩余2k，这个时候再去申请一个大于2k并且小于4k的内存空间，就会去新申请一个slab单元空间，上次初始化的slab单元的剩余2k内存就会被浪费掉，无法再使用)。
Buffer的分配过程中主要使用一个局部变量pool作为中间处理对象，处于分配状态的slab单元都指向它。

var pool;
function allocPool() {
  pool = new SlowBuffer(Buffer.poolSize);
  pool.used = 0;
}

如果pool没有被创建，将会创建一个新的slab单元指向它：

if (!pool || pool.length - pool.used < this.length) allocPool();

同时当前Buffer对象的parent属性指向该slab，并记录下是从这个slab的哪个位置(offset)开始使用的，slab对象自身也记录被使用了多少字节：

this.parent = pool; 
this.offset = pool.used; 
pool.used += this.length;
if (pool.used & 7) pool.used = (pool.used + 8) & ~7;

这时候的slab状态为partial。当再次创建一个Buffer对象时，构造过程中将会判断这个slab的剩余空间是否足够。如果足够，使用剩余空间。如果slab剩余的空间不够，将会构造新的slab，原slab中剩余的空间会造成浪费。