fs.appendFile过操作频繁触发too many open files in system when trying to write a file

文章讲述了在Node.js项目中,由于大量使用fs.appendFile方法导致的toomanyopenfiles错误。作者提出了改用流(stream)的方式,通过fs.createWriteStream来处理数据追加写入文件的问题,从而避免了打开文件过多的限制,提高了程序的稳定性。
摘要由CSDN通过智能技术生成

项目中使用这个fs.appendFile一下打开过多也会出现报错 too many open files, open ‘xxx.txt’

 function writeFileFunc(fileName, contexts, res, callBack) {
  console.log("触发了writeFileFunc");

  // 使用这个fs.appendFile一下打开过多也会出现报错  too many open files, open 'text/user.txt'
  fs.appendFile(
    fileName,
    JSON.stringify(contexts) + "/n",
    "utf-8",
    function (err) {
      console.log(err);
      if (err !== null) {
        console.log("写入内容失败");
        res.send({
          code: -1,
          msg: "写入内容失败",
          data: null,
        });
        return;
      }

      callBack && callBack();
    }
  );
}

原因是之前导入大量数据使用同步遍历处理:
const arr =  [{name:'张三',...}] // 大概2000条数据以上
 while (arr && arr.length > 0) {
    let bodys = arr.shift();
    writeFileFunc('user.txt', bodys, res);
  }

为了解决这个数据追加写入文件的问题,最终使用流的方式

let userjson = 'text.json'
let writeStream = fs.createWriteStream(userjson)

 function writeFileFunc(fileName, contextArr, res, callBack) {
  // 数组内容存储处理
  while (contextArr && contextArr.length > 0) {
    let bodys = contextArr.shift();
    // 内容被写入writeStream流中
    writeStream.write(JSON.stringify(bodys) + "/n", "utf8");
  }
  
// 标记流结束
 // writeStream.end();

  // 写入完成触发finish函数
   writeStream.on("finish", () => {
    	  res.send({
		     code: 0,
		      msg: "sucess",
		      data: null,
	    });
   });

  // 写入失败
  writeStream.on("error", (err) => {
    res.send({
      code: -1,
      msg: "写入内容失败",
      data: err,
    });
  });
}

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

追逐梦想之路_随笔

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值