Node.js Buffer(缓冲区)
Javascript 语言自身只有字符串数据类型,没有二进制数据类型。
但在处理TCP流或文件流时,必须用到二进制数据。因此在Node.js中,专门定义了一个Buffer类,该类用来创建一个专门用来存放二进制数据的缓冲区。
在Node.js 中,Buffer类是随Node 内核一起发布的核心库.Buffer类为Node.js带来了一种存储原始数据的方法,可以让Node.js处理二进制数据,每当需要在Node.js中处理I/O操作中移动的数据时,就有可能使用Buffer库。原始数据存储在 Buffer 类的实例中。一个 Buffer 类似于一个整数数组,但它对应于 V8 堆内存之外的一块原始内存。
Buffer 与字符编码
Buffer 实例一般用于表示编码字符的序列,比如 UTF-8 、 UCS2 、 Base64 、或十六进制编码的数据。 通过使用显式的字符编码,就可以在 Buffer 实例与普通的 JavaScript 字符串之间进行相互转换。
const buffer = Buffer.from('runoob','ascii');
// 转为十六进制字符
console.log(buffer.toString('hex'));
// 转为base64字符
console.log(buffer.toString('base64'));
输出结果为:
> node buffer.js
72756e6f6f62
cnVub29i
Node.js 目前支持的字符编码包括:
- ascii - 仅支持 7 位 ASCII 数据。如果设置去掉高位的话,这种编码是非常快的。
- utf8 - 多字节编码的 Unicode 字符。许多网页和其他文档格式都使用 UTF-8 。
- utf16le - 2 或 4 个字节,小字节序编码的 Unicode 字符。支持代理对(U+10000 至 U+10FFFF)。
- ucs2 - utf16le 的别名。
- base64 - Base64 编码。
- latin1 - 一种把 Buffer 编码成一字节编码的字符串的方式。
- binary - latin1 的别名。
- hex - 将每个字节编码为两个十六进制字符。
创建Buffer类
Buffer 提供了以下 API 来创建 Buffer 类:
- Buffer.alloc(size[, fill[, encoding]]): 返回一个指定大小的 Buffer 实例,如果没有设置 fill,则默认填满 0
- Buffer.allocUnsafe(size): 返回一个指定大小的 Buffer 实例,但是它不会被初始化,所以它可能包含敏感的数据
- Buffer.allocUnsafeSlow(size)
- Buffer.from(array): 返回一个被 array 的值初始化的新的 Buffer 实例(传入的 array 的元素只能是数字,不然就会自动被 0 覆盖)
- Buffer.from(arrayBuffer[, byteOffset[, length]]): 返回一个新建的与给定的 ArrayBuffer 共享同一内存的 Buffer。
- Buffer.from(buffer): 复制传入的 Buffer 实例的数据,并返回一个新的 Buffer 实例
- Buffer.from(string[, encoding]): 返回一个被 string 的值初始化的新的 Buffer 实例
// 创建一个长度为10,并用0填充的Buffer
const buf1 = Buffer.alloc(10);
// 创建一个长度为10,并且用0x1填充的Buffer
const buf2 = Buffer.alloc(10,1);
// 创建一个长度为10,并且未初始化的Buffer
// 这个方法比调用Buffer.alloc()方法更快
// 但返回的Buffer 实例可能包含旧数据
// 因此需要使用fill() 或 write() 重写
const buf3 = Buffer.allocUnsafe(10);
// 创建一个包含[0x1,0x2,0x3]的Buffer
const buf4 = Buffer.from([1,2,3]);
// 创建一个包含 UTF-8 字节 [0x74, 0xc3, 0xa9, 0x73, 0x74] 的 Buffer。
const buf5 = Buffer.from('tést');
// 创建一个包含 Latin-1 字节 [0x74, 0xe9, 0x73, 0x74] 的 Buffer。
const buf6 = Buffer.from('tést','latin1');
写入缓冲区
语法
写入 Node 缓冲区的语法如下所示:
buf.write(string[, offset[, length]][, encoding])
参数
参数描述如下:
- string - 写入缓冲区的字符串。
- offset - 缓冲区开始写入的索引值,默认为 0 。
- length - 写入的字节数,默认为 buffer.length
- encoding - 使用的编码。默认为 ‘utf8’ 。
根据 encoding 的字符编码写入 string 到 buf 中的 offset 位置。 length 参数是写入的字节数。 如果 buf 没有足够的空间保存整个字符串,则只会写入 string 的一部分。 只部分解码的字符不会被写入。
返回值
返回实际写入的大小。如果 buffer 空间不足, 则只会写入部分字符串。
实例
let buf1 = Buffer.alloc(256);
let buf2 = Buffer.alloc(10);
let buf3 = Buffer.alloc(2);
let len1 = buf1.write('我永远喜欢阿狸'); // 长度为21,说明一个中文长度为3
let len2 = buf1.write('i love ahri forever'); // Buffer空间够,长度为全部长度19
let len3 = buf2.write('i love mikasa forever'); // Buffer空间不够,只有10个长度就输入了10个
let len4 = buf3.write('我'); // 长度不够时不会解码输入,返回0
console.log(len1+ '=>' +len2+ '=>' +len3+ '=>' +len4);
返回结果为: 21=>19=>10=>0
从缓冲区读取数据
语法
读取 Node 缓冲区数据的语法如下所示:
buf.toString([encoding[, start[, end]]])
参数
参数描述如下:
- encoding - 使用的编码。默认为 ‘utf8’ 。
- start - 指定开始读取的索引位置,默认为 0。
- end - 结束位置,默认为缓冲区的末尾。
返回值
解码缓冲区数据并使用指定的编码返回字符串。
实例
let buf = Buffer.alloc(26);
for(let i=0;i<26;i++) {
buf[i] = i + 97; // 小写字母a 的ascii码为97
}
console.log(buf.toString('ascii')); // 解码后以ascii码编码输出
console.log(buf.toString('ascii',0,5)); // 输出前五个字符 abcde
console.log(buf.toString('utf8',5,10)); // 以utf编码输出第6到第10个字符 fghij
console.log(buf.toString(undefined,20,26)); // 默认以utf8编码输出第21到第26个字符 uvwxyz
输出结果为:
abcdefghijklmnopqrstuvwxyz
abcde
fghij
uvwxyz
将 Buffer 转换为 JSON 对象
语法
将 Node Buffer 转换为 JSON 对象的函数语法格式如下:
buf.toJSON()
当字符串化一个 Buffer 实例时,JSON.stringify() 会隐式地调用该 toJSON()。
返回值
返回 JSON 对象。
实例
const buf = Buffer.from([0x1,0x2,0x3,0x4,0x5]);
const json = JSON.stringify(buf);
console.log(json); // {"type":"Buffer","data":[1,2,3,4,5]}
const copy = JSON.parse(json,(key,value) => {
console.log(key,value);
return value && value.type === 'Buffer'?
Buffer.from(value.data):
value
})
console.log(copy); // <Buffer 01 02 03 04 05>
缓冲区合并
语法
Node 缓冲区合并的语法如下所示:
Buffer.concat(list[, totalLength])
参数
参数描述如下:
- list - 用于合并的 Buffer 对象数组列表。
- totalLength - 指定合并后Buffer对象的总长度。
返回值
返回一个多个成员合并的新 Buffer 对象。
实例
const buf1 = Buffer.from('我永远喜欢阿狸');
const buf2 = Buffer.from(' <==> ');
const buf3 = Buffer.from('i love ahri forever');
const buf4 = Buffer.concat([buf1,buf2,buf3]);
console.log(buf4.toString()); // 我永远喜欢阿狸 <==> i love ahri forever
缓冲区比较
语法
Node Buffer 比较的函数语法如下所示, 该方法在 Node.js v0.12.2 版本引入:
buf.compare(otherBuffer);
参数
参数描述如下:
- otherBuffer - 与 buf 对象比较的另外一个 Buffer 对象。
返回值
返回一个数字,表示 buf 在 otherBuffer 之前,之后或相同。
实例
const buf1 = Buffer.from('ABC');
const buf2 = Buffer.from('ABCD');
const result = buf1.compare(buf2);
if(result < 0) {
console.log(`${buf1}在${buf2}之前`);
}else if(result == 0) {
console.log(`${buf1}与${buf2}一样`);
}else {
console.log(`${buf1}在${buf2}之后`);
}
输出结果:
ABC在ABCD之前
缓冲区拷贝
语法
Node 缓冲区拷贝语法如下所示:
buf.copy(targetBuffer[, targetStart[, sourceStart[, sourceEnd]]])
参数
参数描述如下:
- targetBuffer - 要拷贝的 Buffer 对象。
- targetStart - 数字, 可选, 默认: 0
- sourceStart - 数字, 可选, 默认: 0
- sourceEnd - 数字, 可选, 默认: buffer.length
返回值
没有返回值。
实例
const buf1 = Buffer.from('abcdefghijklmn');
const buf2 = Buffer.from('ahri');
buf2.copy(buf1,3,1,3);
// buf2用第2到第3个字符 hr 替换了buf1 里从第4个字符开始的两个字符 de
console.log(buf1.toString()); // abchrfghijklmn
缓冲区裁剪
语法
Node 缓冲区裁剪语法如下所示:
buf.slice([start[, end]])
参数
参数描述如下:
- start - 数字, 可选, 默认: 0
- end - 数字, 可选, 默认: buffer.length
返回值
返回一个新的缓冲区,它和旧缓冲区指向同一块内存,但是从索引 start 到 end 的位置剪切。
实例
const buf1 = Buffer.from('i love ahri forever');
const buf2 = buf1.slice();
console.log(buf2.toString()); // i love ahri forever
const buf3 = buf1.slice(7,11);
console.log(buf3.toString()); // ahri
缓冲区长度
语法
Node 缓冲区长度计算语法如下所示:
buf.length
返回值
返回 Buffer 对象所占据的内存长度。
实例
const buf = Buffer.from('i love ahri forever');
console.log(buf.length); // 19