Buffer 的设计初衷与工作原理

最新推荐文章于 2025-11-10 16:39:16 发布
原创 最新推荐文章于 2025-11-10 16:39:16 发布 · 691 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#vim #编辑器 #linux #javascript #node.js

Buffer 是 Node.js 中用于处理二进制数据流的核心工具，特别适合处理文件I/O和网络通信等任务。下面我们来深入了解它的原理和使用。

⚙️ Buffer 的设计初衷与工作原理

JavaScript本身擅长处理字符串，但对二进制数据的支持一度薄弱。Node.js面对文件操作、网络数据包这类二进制数据流时，需要一个高效的解决方案，Buffer便应运而生。
核心原理在于，Buffer在Node.js的C++层面实现内存分配，在JavaScript层面进行管理。它分配的是固定大小的原始内存（在V8堆外），你可以将其近似理解为一个用于存储原始字节的特殊“数组”。其元素是0到255之间（即一个字节）的整数值。

Node.js采用slab分配机制管理Buffer内存，这是一种动态内存管理机制，以减少频繁申请内存带来的性能开销。关于内存分配，Node.js有一个8KB的界限：

  • 当需要小于8KB的Buffer时，Node.js会尝试复用已有的slab单元（一个8KB的内存块）。这能高效利用内存，但要注意，若一个slab被多个Buffer共享，必须所有这些Buffer都被释放，该slab所占内存才能被回收。
  • 当需要大于8KB的Buffer时，Node.js会直接分配一个独立且恰好满足大小的内存块给这个Buffer使用。

🛠️ 创建 Buffer 实例

安全创建方法：

  • Buffer.alloc(size)：创建指定大小且用0填充的Buffer。这是最安全的方式，因为内容已初始化。

    // 创建一个长度为10字节且用0填充的Buffer
const buf1 = Buffer.alloc(10);

  • Buffer.from(data)：从现有数据（如字符串、数组）创建Buffer。

    // 从字符串创建Buffer（默认UTF-8编码）
const buf2 = Buffer.from('Hello, Node.js!');
// 从数组创建Buffer（数组元素为字节值）
const buf3 = Buffer.from([0x48, 0x65, 0x6c, 0x6c, 0x6f]);

需谨慎使用的方法：

  • Buffer.allocUnsafe(size)：创建指定大小但未初始化的Buffer。分配速度快，但可能包含旧内存数据，因此使用时务必确保后续用 fill() 等方法覆盖或完全写入数据。
    // 创建一个长度为10字节未初始化的Buffer
const buf4 = Buffer.allocUnsafe(10);
// 使用前最好填充，例如用0填充
buf4.fill(0);

下表对比了主要的Buffer创建方法：

方法安全性性能适用场景
Buffer.alloc(size)高 (预填充0)相对较慢通用安全创建，避免敏感数据泄漏
Buffer.from(data)高取决于数据源从字符串、数组等转换
Buffer.allocUnsafe(size)低 (含旧数据)快性能敏感且会立即覆盖数据的场景

📝 Buffer 的常用操作

写入缓冲区：
使用 buf.write() 方法。

const buf = Buffer.alloc(10);
const bytesWritten = buf.write('Hello', 0, 5, 'utf8');
console.log(`写入了 ${bytesWritten} 个字节`); // 输出：写入了 5 个字节

从缓冲区读取：
常用 buf.toString() 将Buffer转换回字符串。

const buf = Buffer.from('Hello, World!');
console.log(buf.toString('utf8')); // 输出: Hello, World!
console.log(buf.toString('hex')); // 输出: 48656c6c6f2c20576f726c6421

其他常见操作：

  • 切片：buf.slice() 可创建Buffer的视图，共享原内存，修改切片会影响原Buffer。

    const buf = Buffer.from('Node.js Buffer');
const slice = buf.slice(0, 7);
console.log(slice.toString()); // 输出: Node.js

  • 拼接：Buffer.concat() 用于将多个Buffer实例合并成一个。

    const buf1 = Buffer.from('123');
const buf2 = Buffer.from('456');
const combined = Buffer.concat([buf1, buf2]);
console.log(combined.toString()); // 输出: 123456

  • 比较：Buffer.compare() 用于判断两个Buffer实例的先后顺序。

    const bufA = Buffer.from('ABC');
const bufB = Buffer.from('BCD');
console.log(Buffer.compare(bufA, bufB)); // 输出: -1 (表示bufA在bufB之前)

  • 获取JSON表示：buf.toJSON() 将Buffer转换为一个包含 type 和 data (字节数组) 的JSON对象。

    const buf = Buffer.from([1, 2, 3]);
const json = buf.toJSON();
console.log(json); // 输出: { type: 'Buffer', data: [ 1, 2, 3 ] }

🎯 Buffer 的应用场景

  1. 文件操作：读写文件时，特别是在处理图片、音频等非文本文件时，数据常以Buffer形式处理。

    const fs = require('fs');
fs.readFile('image.png', (err, data) => { // data 就是 Buffer
  if (err) throw err;
  const header = data.slice(0, 4); // 读取文件头
  console.log(header.toString('hex')); // 例如，PNG文件头通常是 '89504e47'
});

  2. 网络通信：处理TCP数据流或接收HTTP请求时，数据常以Buffer形式接收和发送。

    const http = require('http');
const server = http.createServer((req, res) => {
  // 假设我们有一个Buffer类型的数据
  const bufferData = Buffer.from('Hello from Buffer!');
  res.writeHead(200, { 'Content-Type': 'text/plain' });
  res.end(bufferData); // 直接将Buffer写入响应
});
server.listen(3000);

  3. 加密与编码：处理二进制数据编码（如Base64、Hex）或加密解密操作。

    const buf = Buffer.from('Hello');
console.log(buf.toString('base64')); // 输出: SGVsbG8=

⚠️ 使用 Buffer 的注意事项

  • 内存安全：使用 Buffer.allocUnsafe() 创建Buffer时，必须确保及时用 fill() 或完全写入数据覆盖原有内容，防止敏感信息泄漏。
  • 字符编码：Buffer与字符串转换时需注意编码。默认UTF-8，也支持 ‘ascii’, ‘utf16le’, ‘base64’, ‘hex’, ‘latin1’ 等。指定正确编码至关重要。
  • 内存管理：虽然Buffer对象本身由V8的垃圾回收机制管理，但其底层内存分配在V8堆外。对于大型Buffer，注意及时解除引用，以便垃圾回收；同时，避免频繁创建大量小Buffer，以减轻内存分配系统压力。

💾 Buffer 的乱码问题与处理

在处理数据流（如网络传输或大文件读取）时，如果数据被截断，特别是多字节字符（如UTF-8编码的中文）被拆分到不同的Buffer片段，就可能出现乱码。

原因：一个多字节字符可能被拆分到两个Buffer对象中，直接单独转换每个Buffer为字符串时，被拆分的字符就无法正确解析。

解决方法：

  1. 使用 Buffer.concat() 合并接收到的Buffer片段。
    const chunks = [];
let size = 0;
res.on('data', function(chunk) {
  chunks.push(chunk);
  size += chunk.length;
});
res.on('end', function() {
  const buf = Buffer.concat(chunks, size); // 合并所有Buffer片段
  const str = buf.toString('utf8');
  console.log(str);
});
  2. 使用Node.js的字符串解码器 (string_decoder) 模块，能更智能地处理多字节字符的边界问题。
    const { StringDecoder } = require('string_decoder');
const decoder = new StringDecoder('utf8');

const part1 = Buffer.from([0xe4, 0xb8]); // '中'字的前半部分
const part2 = Buffer.from([0xad, 0xe6]); // '中'字后半部分和'文'字部分？(此处仅为示例，实际组合需符合UTF-8规则)

// 直接转换会乱码
console.log(part1.toString('utf8')); // 可能输出乱码或空
console.log(part2.toString('utf8')); // 可能输出乱码

// 使用StringDecoder处理
console.log(decoder.write(part1)); // 可能等待完整字节
console.log(decoder.write(part2)); // 会输出正确拼接的字符

🔄 Buffer 与 TypedArray

Node.js的Buffer类实际上是Uint8Array的子类。因此，Buffer实例可以与ES6中的TypedArray（如Uint8Array）互操作。

// Buffer 转 TypedArray
const buf = Buffer.from([1, 2, 3]);
const uint8Array = new Uint8Array(buf.buffer, buf.byteOffset, buf.byteLength);

// TypedArray 转 Buffer
const arr = new Uint16Array([1, 2, 3]);
const bufFromArr = Buffer.from(arr.buffer);

📚 总结

Buffer是Node.js中处理二进制数据的基石。理解其内存分配原理、掌握安全的创建与操作方法、注意字符编码与内存管理，对于构建高效的Node.js应用至关重要。

图解 Kafka 架构与工作原理
2401_86086877的博客
06-30 1572
小编这些年深知大多数初中级工程师，想要提升自己，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。因此我收集整理了一份《2024年Java全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！如果你需要这些资料，⬅专栏获取。
十二)MySQL之内存篇：深入探寻数据库内存与Buffer Pool的奥妙！
BASK2312的博客
10-28 596
经过上述一系列的分析后，咱们就将MySQL内存方面的知识理清楚了，尤其是关于InnoDB的缓冲池，会发现和我说的一样：InnoDB引擎几乎将所有的操作都放在了内存中进行，比如写日志、写数据、查数据等，只有逼不得已的情况下，才会走磁盘读写数据。假设你部署MySQL的机器内存足够大，并且为分配的内存空间也足够大，比如机器的内存有128GB，此时为分配了100GB，而整个库的所有表数据加起来仅有80GB，此时要记住！InnoDB。
mysql原理--InnoDB的Buffer Pool
x13262608581的博客
01-06 2134
Buffer Pool，用户态高速缓存
MySQL Change Buffer 深入解析：概念、原理及使用
码到三十五
01-20 1万+
MySQL的InnoDB存储引擎中有一个非常有用的特性，名为Change Buffer。它是一种优化技术，旨在减少对磁盘的I/O操作，从而提高数据库的性能。本文将深入探讨Change Buffer的原理，以及如何利用它来优化数据库性能。
Kafka 设计与原理详解
热门推荐
Heaven Wang 的专栏
08-28 16万+
一、Kafka简介1.1 背景历史当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战： 如何收集这些巨大的信息 如何分析它 如何及时做到如上两点 以上几个挑战形成了一个业务需求模型，即生产者生产（produce）各种信息，消费者消费（consume）（处理分析）这些信息，而在生产者与消费者之间，需要一个沟通两者的桥梁-消息系统。从一
CPU GPU设计工作原理
hemeinvyiqiluoben的专栏
01-24 1549
转自：http://blog.csdn.net/claien/article/details/6965135 要说到设计的复杂程度，那还是CPU了！这个不用讨论，很简单的道理你看看显卡芯片的更新速度和CPU的更新速度就可见一斑了。还是简单说说他们的设计原理吧。 CPU:       但是，现在我要问一句：“什么是CPU？”我相信大多数人并不知道什么是CPU。当然，你可以回答CPU
CPU GPU设计工作原理（转载）
puppet_master的专栏
08-13 5579
原文地址：http://www.cnblogs.com/geniusalex/archive/2008/12/26/1941766.html 原文从这里开始: 要说到设计的复杂程度，那还是CPU了！这个不用讨论，很简单的道理你看看显卡芯片的更新速度和CPU的更新速度就可见一斑了。还是简单说说他们的设计原理吧。 CPU: 但是，现在我要问一句：“什么是CPU？”我相信大多数人并不知道
操作系统—— 精髓与设计原理--期末复习
qq_62795094的博客
05-08 5063
本文诣在帮助大家通过操作系统课程期末考试，如需补充内容欢迎评论区提醒。敬请收藏。
kafka设计原理
tinysakura的博客
09-30 525
转载自李克华的博客 kafka的设计初衷是希望作为一个统一的信息收集平台,能够实时的收集反馈信息,并需要能够支撑较大的数据量,且具备良好的容错能力. 1、持久性 kafka使用文件存储消息,这就直接决定kafka在性能上严重依赖文件系统的本身特性.且无论任何OS下,对文件系统本身的优化几乎没有可能.文件缓存/直接内存映射等是常用的手段.因为kafka是对日志文件进行append操作,因此磁盘检索的...
CPU GPU设计工作原理《转》
借你一秒
06-10 2390
我知道这很长,但是,我坚持看完了.希望有幸看到这文章并对图形方面有兴趣的朋友,也能坚持看完.一定大有收获.毕竟知道它们到底是怎么"私下勾搭"的.会有利于我们用程序来指挥它们....(这是我加上去的) 原文从这里开始: 要说到设计的复杂程度，那还是CPU了！这个不用讨论，很简单的道理你看看显卡芯片的更新速度和CPU的更新速度就可见一斑了。还是简单说说他们的设计原理吧。 CPU:
【SSD核心技术大揭秘】：从零掌握固态硬盘工作原理与性能优化
本文系统梳理了固态硬盘（SSD）的基本构成、内部架构与工作原理，深入分析了其核心组件如控制器、固件与NAND闪存芯片的技术特性。进一步探讨了SSD在数据组织、垃圾回收、磨损均衡及缓存优化等方面的实现机制，并从...
【Ntripcaster架构揭秘】：设计原理与核心组件解析
[【Ntripcaster架构揭秘】：设计原理与核心组件解析](https://www.ardusimple.com/wp-content/uploads/2020/05/NTRIP_network.png) # 摘要 Ntripcaster作为一个先进的网络服务系统，其设计原理、核心组件和实践应用...
【深度解析】RTC与WDT协同工作原理：构建超低功耗系统的6大优化策略
[【深度解析】RTC与WDT协同工作原理：构建超低功耗系统的6大优化策略](https://img-blog.csdnimg.cn/direct/386a6dc6129a4aa3832109dd71356020.png) # 1. RTC与WDT在低功耗系统中的核心作用 在嵌入式低功耗系统中，...
vim的跳转看头文件与分屏
ikarusuraki的博客
11-03 158
看看效果，屏幕利用率会高很多。
Electron 应用中的系统检测方案对比
夏天的博客
11-09 563
方案可靠性信息量易用性性能推荐度适用场景⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐🏆首选平台判断、条件逻辑⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐🥇推荐详细信息、系统监控os.type()⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐🥈可用日志记录、调试信息⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⚠️不推荐Web 兼容（已废弃）⭐⭐⭐⭐⭐⭐⭐⭐❌避免遗留代码（不推荐）日常开发：优先使用需要详细信息：使用os模块的各种方法日志和调试：使用os.type()和避免使用和。
Linux基础开发工具----yum、vim和gcc/g++
Wangshijie1015的博客
11-06 615
• 在Linux下安装软件,⼀个通常的办法是下载到程序的源代码,并进⾏编译,得到可执⾏程序.• 但是这样太⿇烦了,于是有些⼈把⼀些常⽤的软件提前编译好,做成软件包(可以理解成windows上 的安装程序)放在⼀个服务器上,通过包管理器可以很⽅便的获取到这个编译好的软件包,直接进⾏安 装.• 软件包和软件包管理器,就好⽐"App"和"应⽤商店"这样的关系.
修改文件权限--- chmod ，vi/vim，yum-软件包管理器，systemctl管理系统服务
最新发布
m0_46450595的博客
11-10 395
场景推荐操作查看日志→G→/ERROR→n修改配置→/port→回车 →i→ 改 →Esc→:wq写测试脚本→i→ 输入内容 →Esc→:wq→安全查看（防止误改）调试脚本:set nu显示行号，快速定位报错行yum命令# 搜索# 安装（带 -y）# 卸载# 查看是否安装# 安装 EPEL 源（扩展包）# 清理缓存。
第1篇：Linux工具复盘上篇：yum与vim
Maple_land的博客
11-09 566
本文回顾了Linux中的两个核心工具yum和vim。yum作为软件包管理器，其核心在于连接用户与软件仓库，自动解决依赖关系，通过修改配置文件可更换软件源。vim的高效源于其多模式设计，区分命令、插入和底行模式以优化操作流程。文章详细介绍了yum的工作原理、常用命令及Linux软件生态，并讲解了vim的基础操作和进阶技巧。掌握这些工具不仅提升工作效率，更是深入Linux系统的基础。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值