Node.js express框架 大文件断点续传、大文件多并发上传

大家好我是秀菜今天是第三天给大家分享文件上传的方法，今天还是分享2种!

1.大文件断点续传

// 优势部分:减少了内存占用，可实现断点续传并发处理，利用带宽，提高效率
// 不足之处:增加复杂性，增加额外计算存储
// 应用场景:云存储大文件上传、多媒体平台音视频上传，需断点续传应用
// 注意事项:合理分块大小，顺序的完整性，异常情况的合理处理
// 处理文件上传的路由
var express = require('express');
var router = express.Router();
var jwt = require('jsonwebtoken');
var path = require('path');
const multer = require('multer');
const upload = multer({ dest: 'uploads/' });
const fs = require('fs');
router.post("/upload", upload.single('file'), (req, res) => {
    // 获取上传的文件对象
    const file = req.file;

    // 获取文件名
    const filename = req.body.filename;

    // 获取总块数和当前块数
    const totalChunks = parseInt(req.body.totalChunks);
    const currentChunk = parseInt(req.body.currentChunk);

    // 生成当前块的存储路径
    const chunkPath = path.join(__dirname, '../upload', `${filename}-chunk-${currentChunk}`);

    // 创建读取文件块的可读流和写入当前块的可写流
    const chunkStream = fs.createReadStream(file.path);
    const writeStream = fs.createWriteStream(chunkPath);

    // 将读取的文件块内容通过管道写入当前块的文件
    chunkStream.pipe(writeStream);

    // 监听读取文件块流结束事件
    chunkStream.on('end', () => {
        fs.unlinkSync(file.path); // 读取文件块的流结束后，删除临时文件
        const progress = ((currentChunk + 1) / totalChunks) * 100;  //计算上传进度
        res.json({ progress }); // 响应上传成功的状态码
    });
});

// 处理文件合并的路由
router.post('/merge', (req, res) => {
    // 获取文件名和总块数
    const filename = req.body.filename;
    const totalChunks = parseInt(req.body.totalChunks);

    // 生成合并后文件的存储路径
    const mergedPath = path.join(__dirname, '../upload', filename);

    // 创建写入合并后文件的可写流
    const writeStream = fs.createWriteStream(mergedPath);

    // 递归合并文件块的函数
    const mergeChunks = (index) => {
        if (index === totalChunks) {
            writeStream.end(); // 所有块都合并完成后，关闭写入流
            res.sendStatus(200); // 响应合并成功的状态
            return;
        }

        // 获取当前块的存储路径
        const chunkPath = path.join(__dirname, '../upload', `${filename}-chunk-${index}`);

        // 同步读取当前块的内容
        const chunk = fs.readFileSync(chunkPath);

        // 删除已合并的块
        fs.unlinkSync(chunkPath);

        // 将块的内容写入合并后文件，并在写入完成后递归合并下一块
        writeStream.write(chunk, () => {
            mergeChunks(index + 1);
        });
    };

    // 开始递归合并文件块
    mergeChunks(0);
});

2.大文件多并发上传

var express = require('express');
var router = express.Router();
var path = require('path');
const multer = require('multer');
const upload = multer({ dest: 'uploads/' });
const fs = require('fs');


// 文件上传
// 存储文件哈希值的对象
const fileHashes = {};

// 处理文件上传的路由
router.post("/upload", upload.single('file'), (req, res) => {
  // 获取上传的文件对象
  const file = req.file;

  // 获取文件名
  const filename = req.body.filename;

  // 获取总块数和当前块数
  const totalChunks = parseInt(req.body.totalChunks);
  const currentChunk = parseInt(req.body.currentChunk);

  // 生成当前块的存储路径
  const chunkPath = path.join(__dirname, '../upload', `${filename}-chunk-${currentChunk}`);

  // 创建读取文件块的可读流和写入当前块的可写流
  const chunkStream = fs.createReadStream(file.path);
  const writeStream = fs.createWriteStream(chunkPath);

  // 将读取的文件块内容通过管道写入当前块的文件
  chunkStream.pipe(writeStream);

  // 监听读取文件块流结束事件
  chunkStream.on('end', () => {
    fs.unlinkSync(file.path); // 读取文件块的流结束后，删除临时文件
    const progress = ((currentChunk + 1) / totalChunks) * 100;  //计算上传进度
    res.json({ progress }); // 响应上传成功的状态码
  });
});

// 处理文件合并的路由
router.post('/merge', (req, res) => {
  // 获取文件名和总块数
  const filename = req.body.filename;
  const totalChunks = parseInt(req.body.totalChunks);
  const fileHash = req.body.fileHash;

  console.log(filename, totalChunks, fileHash);

  // 生成合并后文件的存储路径
  const mergedPath = path.join(__dirname, '../upload', filename);

  // 创建写入合并后文件的可写流
  const writeStream = fs.createWriteStream(mergedPath);

  // 递归合并文件块的函数
  const mergeChunks = (index) => {
    if (index === totalChunks) {
      writeStream.end(); // 所有块都合并完成后，关闭写入流
      res.sendStatus(200); // 响应合并成功的状态
      return;
    }

    // 获取当前块的存储路径
    const chunkPath = path.join(__dirname, '../upload', `${filename}-chunk-${index}`);

    // 同步读取当前块的内容
    const chunk = fs.readFileSync(chunkPath);

    // 删除已合并的块
    fs.unlinkSync(chunkPath);

    // 存储文件哈希值
    fileHashes[fileHash] = true;

    // 将块的内容写入合并后文件，并在写入完成后递归合并下一块
    writeStream.write(chunk, () => {
      mergeChunks(index + 1);
    });
  };

  // 开始递归合并文件块
  mergeChunks(0);
});

router.head('/check-file', (req, res) => {
  const fileHash = req.query.filehash;
  console.log(fileHash, fileHashes);
  if (fileHashes[fileHash]) {
    res.sendStatus(200); //文件已存在
  } else {
    res.sendStatus(404); //文件不存在
  }
})

今天的分享的到此为止了，明天见！