【Node系列】node中的流（Stream）

一、流（Stream）

Node.js 中的流（Stream）是一种处理数据的方式，它允许你以流的方式处理数据，而不是一次性加载整个数据集。这种方式对于处理大量数据非常有用，因为它可以减少内存的使用并提高性能。

Node.js 提供了几种不同类型的流，包括：

1. 可读流（Readable Stream）：用于从数据源读取数据。例如，当你想从一个文件或网络连接中读取数据时，可以使用可读流。
2. 可写流（Writable Stream）：用于将数据写入目标。例如，当你想将数据写入文件或网络连接时，可以使用可写流。
3. 双向流（Duplex Stream）：同时具有可读和可写的能力。例如，net.Socket 和 fs.ReadStream 都是双向流。
4. Transform 流：在读取和写入过程中对数据进行转换。例如，zlib 模块提供了压缩和解压缩的 Transform 流。

使用 Node.js 流的基本步骤如下：

1. 创建一个流对象（例如，使用 fs.createReadStream() 或 fs.createWriteStream()）。
2. 监听 ‘data’ 事件来接收从流中读取的数据。
3. 监听 ‘end’ 事件来知道何时数据已经读取完毕。
4. 监听 ‘error’ 事件来处理可能发生的错误。

二、四种基本流的案例

Node.js 中有四种不同类型的流：可读流（Readable Stream）、可写流（Writable Stream）、双向流（Duplex Stream）和转换流（Transform Stream）。

1. 可读流（Readable Stream）：这种类型的流主要用于从数据源读取数据。当数据准备好后，可以通过监听 ‘data’ 事件来获取数据。当没有数据可读时，可以通过监听 ‘end’ 事件来知道何时数据已经读取完毕。

案例：从文件读取数据

const fs = require('fs');

const readStream = fs.createReadStream('input.txt');

readStream.on('data', (chunk) => {
  console.log(`Received ${chunk.length} bytes of data.`);
});

readStream.on('end', () => {
  console.log('No more data.');
});

2. 可写流（Writable Stream）：这种类型的流主要用于将数据写入目标。可以通过监听 ‘drain’ 事件来知道何时可以继续写入数据。当写入过程中发生错误时，可以通过监听 ‘error’ 事件来处理错误。

案例：将数据写入文件

const fs = require('fs');

const writeStream = fs.createWriteStream('output.txt');

writeStream.write('Hello, World!');
writeStream.end();

3. 双向流（Duplex Stream）：这种类型的流同时具有可读和可写的能力。例如，net.Socket 和 fs.ReadStream 都是双向流。双向流可以同时处理数据的读取和写入。

案例：通过 net 模块创建一个 TCP 服务器，并使用双向流处理客户端的连接和数据传输。

const net = require('net');

const server = net.createServer((socket) => {
  socket.write('Hello, client!');
  socket.end();
});

server.listen(8000);

4. 转换流（Transform Stream）：在读取和写入过程中对数据进行转换。例如，zlib 模块提供了压缩和解压缩的 Transform 流。可以通过在 ‘data’ 事件回调中返回一个对象来转换数据，并使用 ‘push’ 方法将结果推回流中。当没有更多数据可以读取或写入时，可以通过监听 ‘end’ 或 ‘finish’ 事件来知道何时结束转换。

const fs = require('fs');  
const zlib = require('zlib');  
  
// 创建一个可读流  
const readableStream = fs.createReadStream('input.txt');  
  
// 创建一个转换流，用于压缩数据  
const transformStream = zlib.createGzip();  
  
// 创建一个可写流，用于将压缩后的数据写入文件  
const writableStream = fs.createWriteStream('output.gz');  
  
// 将可读流、转换流和可写流连接起来  
readableStream.pipe(transformStream).pipe(writableStream);

三、组合流：管道流（Pipeline Stream）

管道流（Pipeline Stream）是一种特殊的流操作，它通过将多个流连接在一起，实现数据的连续处理和传输。在 Node.js 中，可以通过将多个流连接在一起，形成一个管道流，以便将数据从一个流中传递到另一个流中。

管道流通常用于将数据从一个操作转换到另一个操作，例如从读取文件到压缩数据，或者从解压缩数据到写入文件。通过将多个流连接在一起，可以轻松地处理数据的读取、转换和写入操作。

案例：读取文件、压缩数据和写入文件

const fs = require('fs');
const zlib = require('zlib');

// 创建一个可读流，用于读取文件
const readableStream = fs.createReadStream('input.txt');

// 创建一个转换流，用于压缩数据
const transformStream = zlib.createGzip();

// 创建一个可写流，用于将压缩后的数据写入文件
const writableStream = fs.createWriteStream('output.gz');

// 将可读流、转换流和可写流连接起来，形成一个管道流
readableStream.pipe(transformStream).pipe(writableStream);

在这个例子中，我们首先创建了一个可读流，用于读取名为 input.txt 的文件。然后，我们创建了一个转换流，使用 Gzip 算法对数据进行压缩。接下来，我们创建了一个可写流，用于将压缩后的数据写入名为 output.gz 的文件中。最后，我们将可读流、转换流和可写流连接起来，形成一个管道流。当程序运行时，它将读取 input.txt 文件中的内容，使用 Gzip 算法进行压缩，并将压缩后的数据写入 output.gz 文件中。

四、组合流：链式流（Chaining Stream）

链式流（Chaining Stream）是一种通过连接多个流操作来处理数据的机制。在 Node.js 中，可以通过将多个流连接在一起，形成一个链式流，以便将数据从一个流传递到另一个流。

链式流通常用于将多个操作串联起来，例如从读取文件到压缩数据，再到写入文件。通过将多个流连接在一起，可以轻松地处理数据的读取、转换和写入操作。

案例：读取文件、压缩数据和写入文件

const fs = require('fs');
const zlib = require('zlib');

// 创建一个可读流
const readableStream = fs.createReadStream('input.txt');

// 创建一个转换流，用于压缩数据
const transformStream = zlib.createGzip();

// 创建一个可写流，用于将压缩后的数据写入文件
const writableStream = fs.createWriteStream('output.gz');

// 将可读流和转换流连接起来，形成一个链式流
readableStream.pipe(transformStream);

// 将链式流的输出连接到可写流中
transformStream.pipe(writableStream);

在这个例子中，我们首先创建了一个可读流，用于读取名为 input.txt 的文件。然后，我们创建了一个转换流，使用 Gzip 算法对数据进行压缩。接下来，我们创建了一个可写流，用于将压缩后的数据写入名为 output.gz 的文件中。最后，我们将可读流和转换流连接起来，形成一个链式流。然后，我们将链式流的输出连接到可写流中。当程序运行时，它将读取 input.txt 文件中的内容，使用 Gzip 算法进行压缩，并将压缩后的数据写入 output.gz 文件中。

五、热门文章

1. 【Node系列】连接数据库
2. 【Node系列】模块系统
3. 【Node系列】Node全局对象
4. 【Node系列】node工具模块
5. 【Node系列】Buffer详解
6. 【Node系列】node核心模块util
7. 【Node系列】常用工具介绍
8. 【Node系列】EventEmitter详解