Node.js express框架的文件上传 大文件分块进度上传、分块上传

大家好我是秀菜，今天是周一还是带来两种文件上传！

1、大文件分块进度上传

// 优势部分:减少了内存占用，可实现断点续传并发处理，利用带宽，提高效率
// 不足之处:增加复杂性，增加额外计算存储
// 应用场景:云存储大文件上传、多媒体平台音视频上传，需断点续传应用
// 注意事项:合理分块大小，顺序的完整性，异常情况的合理处理
// 处理文件上传的路由
var express = require('express');
var router = express.Router();
var jwt = require('jsonwebtoken');
var path = require('path');
const multer = require('multer');
const upload = multer({ dest: 'uploads/' });
const fs = require('fs');
router.post("/upload", upload.single('file'), (req, res) => {
    // 获取上传的文件对象
    const file = req.file;

    // 获取文件名
    const filename = req.body.filename;

    // 获取总块数和当前块数
    const totalChunks = parseInt(req.body.totalChunks);
    const currentChunk = parseInt(req.body.currentChunk);

    // 生成当前块的存储路径
    const chunkPath = path.join(__dirname, '../upload', `${filename}-chunk-${currentChunk}`);

    // 创建读取文件块的可读流和写入当前块的可写流
    const chunkStream = fs.createReadStream(file.path);
    const writeStream = fs.createWriteStream(chunkPath);

    // 将读取的文件块内容通过管道写入当前块的文件
    chunkStream.pipe(writeStream);

    // 监听读取文件块流结束事件
    chunkStream.on('end', () => {
        fs.unlinkSync(file.path); // 读取文件块的流结束后，删除临时文件
        const progress = ((currentChunk + 1) / totalChunks) * 100;  //计算上传进度
        res.json({ progress }); // 响应上传成功的状态码
    });
});

// 处理文件合并的路由
router.post('/merge', (req, res) => {
    // 获取文件名和总块数
    const filename = req.body.filename;
    const totalChunks = parseInt(req.body.totalChunks);

    // 生成合并后文件的存储路径
    const mergedPath = path.join(__dirname, '../upload', filename);

    // 创建写入合并后文件的可写流
    const writeStream = fs.createWriteStream(mergedPath);

    // 递归合并文件块的函数
    const mergeChunks = (index) => {
        if (index === totalChunks) {
            writeStream.end(); // 所有块都合并完成后，关闭写入流
            res.sendStatus(200); // 响应合并成功的状态
            return;
        }

        // 获取当前块的存储路径
        const chunkPath = path.join(__dirname, '../upload', `${filename}-chunk-${index}`);

        // 同步读取当前块的内容
        const chunk = fs.readFileSync(chunkPath);

        // 删除已合并的块
        fs.unlinkSync(chunkPath);

        // 将块的内容写入合并后文件，并在写入完成后递归合并下一块
        writeStream.write(chunk, () => {
            mergeChunks(index + 1);
        });
    };

    // 开始递归合并文件块
    mergeChunks(0);
});

2.大文件分块上传

// 优势部分:减少了内存占用，可实现断点续传并发处理，利用带宽，提高效率
// 不足之处:增加复杂性，增加额外计算存储
// 应用场景:云存储大文件上传、多媒体平台音视频上传，需断点续传应用
// 注意事项:合理分块大小，顺序的完整性，异常情况的合理处理
// 处理文件上传的路由
var express = require('express');
var router = express.Router();
var jwt = require('jsonwebtoken');
var path = require('path');
const multer = require('multer');
const upload = multer({ dest: 'uploads/' });
const fs = require('fs');
router.post("/upload", upload.single('file'), (req, res) => {
    // 获取上传的文件对象
    const file = req.file;

    // 获取文件名
    const filename = req.body.filename;

    // 获取总块数和当前块数
    const totalChunks = parseInt(req.body.totalChunks);
    const currentChunk = parseInt(req.body.currentChunk);

    // 生成当前块的存储路径
    const chunkPath = path.join(__dirname, '../upload', `${filename}-chunk-${currentChunk}`);

    // 创建读取文件块的可读流和写入当前块的可写流
    const chunkStream = fs.createReadStream(file.path);
    const writeStream = fs.createWriteStream(chunkPath);

    // 将读取的文件块内容通过管道写入当前块的文件
    chunkStream.pipe(writeStream);

    // 监听读取文件块流结束事件
    chunkStream.on('end', () => {
        fs.unlinkSync(file.path); // 读取文件块的流结束后，删除临时文件
        res.sendStatus(200); // 响应上传成功的状态码
    });
});

// 处理文件合并的路由
router.post('/merge', (req, res) => {
    // 获取文件名和总块数
    const filename = req.body.filename;
    const totalChunks = parseInt(req.body.totalChunks);

    // 生成合并后文件的存储路径
    const mergedPath = path.join(__dirname, '../upload', filename);

    // 创建写入合并后文件的可写流
    const writeStream = fs.createWriteStream(mergedPath);

    // 递归合并文件块的函数
    const mergeChunks = (index) => {
        if (index === totalChunks) {
            writeStream.end(); // 所有块都合并完成后，关闭写入流
            res.sendStatus(200); // 响应合并成功的状态
            return;
        }

        // 获取当前块的存储路径
        const chunkPath = path.join(__dirname, '../upload', `${filename}-chunk-${index}`);

        // 同步读取当前块的内容
        const chunk = fs.readFileSync(chunkPath);

        // 删除已合并的块
        fs.unlinkSync(chunkPath);

        // 将块的内容写入合并后文件，并在写入完成后递归合并下一块
        writeStream.write(chunk, () => {
            mergeChunks(index + 1);
        });
    };

    // 开始递归合并文件块
    mergeChunks(0);
});