什么是Node.js中的流？_什么时候会使用readablestream-CSDN博客

本文链接：https://blog.csdn.net/yuanlong12178/article/details/140045621

流（Streams）是Node.js的重要概念之一，它使得我们可以高效地处理和传输大规模的数据。流的核心在于“流式处理”数据，即数据不是一次性地读取和写到内存中，而是逐步地、持续地处理。这使得Node.js在处理大文件、网络通信等场景中具有显著优势。

为什么使用流？

考虑一种情况：假设需要读取一个超大的文件并进行处理。如果直接将文件读取到内存，对于小文件不会有太大问题。但是，当文件非常大时，完全读取并存储在内存中是非常消耗资源且不实用的。使用流，数据只会按需读取并处理，以小段小段地通过，这大大提高了效率并降低了内存占用。

流的四种类型

Node.js中的流可以分为四种类型：

Readable（可读流）：用于读取数据的源头，例如文件读取、网络请求等。
Writable（可写流）：用于写数据到目标，例如文件写入、网络响应等。
Duplex（双工流）：同时实现了Readable和Writable接口的流，例如TCP sockets。
Transform（转换流）：是一种特殊的Duplex流，它在读和写之间修改或变换数据，例如文件压缩、加密等。

流的基本操作

在Node.js中使用流并不是很复杂，下面我们通过示例代码来详细讲解流的基本操作。

1. 可读流（Readable Stream）

const fs = require('fs');

const readableStream = fs.createReadStream('input.txt', {
    encoding: 'utf8',
    highWaterMark: 16 * 1024 // 16KB buffer size
});

readableStream.on('data', (chunk) => {
    console.log('Reading chunk:', chunk);
});

readableStream.on('end', () => {
    console.log('Stream ended.');
});

readableStream.on('error', (err) => {
    console.log('Stream error:', err);
});

在上面的示例中，我们使用fs.createReadStream方法创建了一个读取文件的可读流。data事件在每次读取到数据时触发，可以看到，每次打印出来的都是一个“chunk”，而不是整个文件的内容。在处理完数据后，end事件会被触发。

2. 可写流（Writable Stream）

const fs = require('fs');

const writableStream = fs.createWriteStream('output.txt');

writableStream.write('Hello, stream!\n', 'utf8');
writableStream.write('More data can be written here.\n', 'utf8');

writableStream.end();

writableStream.on('finish', () => {
    console.log('Writing finished.');
});

writableStream.on('error', (err) => {
    console.log('Stream error:', err);
});

这里，我们通过fs.createWriteStream创建了一个写入文件的可写流。通过write方法，我们可以写入数据。在所有写入操作结束后，调用end方法，触发finish事件。

3. 双工流（Duplex Stream）

const { Duplex } = require('stream');

class MyDuplex extends Duplex {
    constructor(options) {
        super(options);
        this.data = [];
    }

    _read(size) {
        const chunk = this.data.length ? this.data.shift() : null;
        this.push(chunk);
    }

    _write(chunk, encoding, callback) {
        this.data.push(chunk);
        callback();
    }
}

const myDuplex = new MyDuplex();

myDuplex.on('data', (chunk) => {
    console.log('Received chunk:', chunk.toString());
});

myDuplex.write('Hello, duplex!\n');
myDuplex.end();

在这个示例中，我们自定义了一个双工流。通过继承Duplex类并实现_read和_write方法，我们创建了一个可以读写数据的流。在这里，我们只是简单地将写入的数据存储到数组中，然后在读取时把数据取出来。

4. 转换流（Transform Stream）

const { Transform } = require('stream');

class UppercaseTransform extends Transform {
    constructor(options) {
        super(options);
    }

    _transform(chunk, encoding, callback) {
        const upperCaseChunk = chunk.toString().toUpperCase();
        this.push(upperCaseChunk);
        callback();
    }
}

const uppercaseTransform = new UppercaseTransform();

process.stdin.pipe(uppercaseTransform).pipe(process.stdout);