Node.js中的zlib模块

在Node.js中，zlib模块提供了强大的数据压缩和解压缩功能，这对于优化网络传输、减少存储空间以及提升应用程序性能至关重要。

什么是zlib模块？

zlib模块是Node.js的内置模块，它提供了基于Gzip、Deflate/Inflate以及Brotli等算法的压缩和解压缩功能。这些算法能够有效地减少数据的大小，从而减少网络传输的时间和带宽消耗，同时减少磁盘上的存储空间。

主要压缩算法

Gzip

Gzip是一种广泛使用的压缩格式，它基于Deflate算法，并添加了额外的头部和尾部信息。Gzip结合了LZ77算法和哈夫曼编码，通过替换重复字符串和字符频率编码来减少数据大小。Gzip压缩通常具有较高的压缩率，但相应地需要更多的计算时间。

Deflate

Deflate是一个无损数据压缩算法，它同时使用了LZ77算法和哈夫曼编码。LZ77算法通过查找并替换数据中的重复字符串来减少数据大小，而哈夫曼编码则根据字符频率进一步压缩数据。Deflate相比于Gzip，没有额外的头部和尾部信息，因此在某些情况下可能具有更高的压缩效率。

gzip 和 deflate 区别

1. 压缩算法：Gzip 使用的是 Deflate 压缩算法，该算法结合了 LZ77 算法和哈夫曼编码。LZ77 算法用于数据的重复字符串的替换和引用，而哈夫曼编码用于进一步压缩数据。
2. 压缩效率：Gzip 压缩通常具有更高的压缩率，因为它使用了哈夫曼编码来进一步压缩数据。哈夫曼编码根据字符的出现频率，将较常见的字符用较短的编码表示，从而减小数据的大小。
3. 压缩速度：相比于仅使用 Deflate 的方式，Gzip 压缩需要更多的计算和处理时间，因为它还要进行哈夫曼编码的步骤。因此，在压缩速度方面，Deflate 可能比 Gzip 更快。
4. 应用场景：Gzip 压缩常用于文件压缩、网络传输和 HTTP 响应的内容编码。它广泛应用于 Web 服务器和浏览器之间的数据传输，以减小文件大小和提高网络传输效率。

zlib 模块的主要作用

• 数据压缩：使用 zlib 模块可以将数据以无损压缩算法（如 Deflate、Gzip）进行压缩，减少数据的大小。这在网络传输和磁盘存储中特别有用，可以节省带宽和存储空间。
• 数据解压缩：zlib 模块还提供了对压缩数据的解压缩功能，可以还原压缩前的原始数据。
• 流压缩：zlib 模块支持使用流（Stream）的方式进行数据的压缩和解压缩。这种方式使得可以对大型文件或网络数据流进行逐步处理，而不需要将整个数据加载到内存中。
• 压缩格式支持：zlib 模块支持多种常见的压缩格式，如 Gzip 和 Deflate。这些格式在各种应用场景中广泛使用，例如 HTTP 响应的内容编码、文件压缩和解压缩等。

压缩数据

在Node.js中，你可以使用zlib模块提供的createGzip、createDeflate等方法来压缩数据。

1.使用gzip进行压缩

import zlib from 'zlib';
import fs from 'fs'; 
  
const readStream = fs.createReadStream('input.txt');  // 创建可读流，读取名为 index.txt 的文件
const writeStream = fs.createWriteStream('input.txt.gz'); // 创建可写流，将压缩后的数据写入名为 index.txt.gz 的文件
// 使用管道将可读流中的数据通过 Gzip 压缩，再通过管道传输到可写流中进行写入  
readStream.pipe(zlib.createGzip()).pipe(writeStream);

2.使用 deflate进行无损压缩

import zlib from 'zlib';
import fs from 'fs'; 

const readStream = fs.createReadStream('index.txt'); // 创建可读流，读取名为 index.txt 的文件
const writeStream = fs.createWriteStream('index.txt.deflate'); // 创建可写流，将压缩后的数据写入 index.txt.deflate 文件

readStream.pipe(zlib.createDeflate()).pipe(writeStream);

解压缩数据

同样地，你可以使用zlib模块提供的createGunzip、createInflate等方法来解压缩数据。

1.使用gzip进行解压

import zlib from 'zlib';
import fs from 'fs'; 
  
const readStream = fs.createReadStream('input.txt.gz');  
const writeStream = fs.createWriteStream('output.txt');  
  
readStream.pipe(zlib.createGunzip()).pipe(writeStream);

2.使用 deflate进行解压

import zlib from 'zlib';
import fs from 'fs'; 
  
const readStream = fs.createReadStream('input.txt.gz');  
const writeStream = fs.createWriteStream('output.txt');  
  
readStream.pipe(zlib.createInflate()).pipe(writeStream);

在HTTP中的应用

zlib模块在HTTP中尤其有用，因为它可以支持HTTP响应的内容编码（如Content-Encoding: gzip或Content-Encoding: deflate）。这意味着你可以在服务器端压缩响应数据，并在客户端自动解压缩，从而减少网络传输的数据量。

使用deflate

deflate 压缩前(11.2kb)

import http from 'http'

const server = http.createServer((req,res)=>{
  // 创建一个字符串，内容是“hello world”重复1000次
  const txt = 'hello world'.repeat(1000)
  // 设置了响应的Content-Type头部，指明响应体的MIME类型为纯文本（text/plain），并且字符集为UTF-8。
  res.setHeader('Content-Type','text/plain;charset=utf-8')
  res.end(txt)
})

server.listen(3000)

压缩后(249b)

import zlib from 'zlib';
import http from 'http'

const server = http.createServer((req,res)=>{
  // 创建一个字符串，内容是“hello world”重复1000次
  const txt = 'hello world'.repeat(1000)
  // 设置了响应的Content-Encoding头部为deflate。这告诉客户端，响应体数据已经被deflate算法压缩。客户端在接收到响应后，需要使用相应的算法来解压数据。
  res.setHeader('Content-Encoding','deflate')
  // 设置了响应的Content-Type头部，指明响应体的MIME类型为纯文本（text/plain），并且字符集为UTF-8。
  res.setHeader('Content-Type','text/plain;charset=utf-8')
  // 使用zlib模块的deflateSync方法（同步版本）对字符串txt进行deflate压缩。压缩后的数据存储在result变量中。
  const result = zlib.deflateSync(txt)
  res.end(result)
})

server.listen(3000)

使用gizp

压缩后(258b)

import zlib from 'zlib';
import http from 'http'

const server = http.createServer((req,res)=>{
  // 创建一个字符串，内容是“hello world”重复1000次
  const txt = 'hello world'.repeat(1000)
  // 设置了响应的Content-Encoding头部为gzip。这告诉客户端，响应体数据已经被gzip算法压缩。客户端在接收到响应后，需要使用相应的算法来解压数据。
  res.setHeader('Content-Encoding','gzip')
  // 设置了响应的Content-Type头部，指明响应体的MIME类型为纯文本（text/plain），并且字符集为UTF-8。
  res.setHeader('Content-Type','text/plain;charset=utf-8')
  // 使用zlib模块的gzipSync方法（同步版本）对字符串txt进行gzip压缩。压缩后的数据存储在result变量中。
  const result = zlib.gzipSync(txt)
  res.end(result)
})

server.listen(3000)