node读写大文件

最新推荐文章于 2024-01-20 23:30:58 发布

随风起舞1

最新推荐文章于 2024-01-20 23:30:58 发布

阅读量535

点赞数 1

分类专栏： node.js后端开发经验.

本文链接：https://blog.csdn.net/xiaxuiau/article/details/116296651

版权

本文介绍了如何使用Node.js处理大文件，通过按行读取文件内容，对每行进行MD5加密，然后将加密后的结果写入新文件。这个方法适用于对大文件进行逐行操作的场景。

摘要由CSDN通过智能技术生成

node读写大文件

需求：按行读取一个大文件，对每一行做md5加密，然后写入一个新的文件。
代码如下

'use strict';
const fs = require('fs');
const readLine = require('lei-stream').readLine;
const crypto = require('crypto');

readLine('./myfile.txt').go((data, next) => {
    // console.log(data);
    doWrite(data, next);
}, function () {
    console.log('-----------------read end');
});


const doWrite = (data, next)=>{
    const writeLineStream = require('lei-stream').writeLine;
    // writeLineStream第一个参数为WriteStream实例，也可以为文件名
    const s = writeLineStream(fs.createWriteStream('./output.txt', {flags:"a+"}), {
      // 换行符，默认\n
      newline: '\n',
      // 编码器，可以为函数或字符串（内置编码器：json，base64），默认null
      encoding: null,
      // 缓存的行数，默认为0（表示不缓存），此选项主要用于优化写文件性能，写入的内容会先存储到缓