【Node】遍历目录文件，生成 JSON（仅获取文件、非递归）

最新推荐文章于 2023-03-27 14:39:13 发布
最新推荐文章于 2023-03-27 14:39:13 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： Node
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45389633/article/details/112592322
版权

一、几种实现（readfile.js）

1. 同步版（阻塞执行）

// 导入模块
const path = require('path');
const fs = require('fs');

const pathName = './';  // 需遍历的文件夹路径
const jsonPath = './files.json';  // 生成 json 的文件路径

// 打开/创建文件并写入 JSON
function writeJSON(file, data) {
  // 同步写入
  fs.writeFileSync(file, JSON.stringify(data, '', '\t'));
}

// 同步操作
((p, j) => {
  try {
    // 用于存储年份
    const years = [];

    // 得到想要的数据，作为原材料（未过滤）
    const lists = fs.readdirSync(p).map(file => {
      // 初始化，加工排序后再给值
      const id = null;
      // 文件名
      const fileName = file;
      // 提取文件扩展名
      const extension = file.substring(file.lastIndexOf('.') + 1, file.length);
      // 将获取的stats对象，解构
      let {size, atime, mtime, ctime, birthtime} = fs.statSync(path.join(p, file));
      // 文件大小转为 kb 单位，向下取整，小于等于 1kb 均为 1kb
      size = `${Math.floor(size / 1000) > 1 ? Math.floor(size / 1000) : 1} kb`;
      // 返回需要的数据对象
      return {
        id,
        extension,  // 扩展名
        fileName, // 文件名
        size, // 文件大小
        atime,  // 最近访问文件时间
        mtime,  // 最近修改内容时间
        ctime, // 最近改变状态时间
        birthtime // 文件创建时间
      }
    });

    // 加工1（先升序给id）
    lists.sort((a, b) => {
      // （根据情况，选取你要排序的一种时间）
      return a.mtime - b.mtime;
    }).forEach((item, i) => {
      // 少于两位自动补零
      item.id = `${i+1}`.padStart(2,'0');
    });

    // 加工2（再降序获取年份）
      // 看情况，项目需要JSON倒序就加这步，否则就在上面写
    lists.sort((a, b) => {
      return b.mtime - a.mtime;
    }).forEach(({atime, mtime, ctime, birthtime}) => {
      const y = mtime.getFullYear();
      years.indexOf(y) < 0 ? years.push(y) : '<-- 避免重复';
    });
    
    // 成品（年份分组）
    const dirs = years.map(year => {
      // 过滤
      const files = lists.filter(item => {
        // 根据情况，选取你要排序的一种时间
        const {atime, mtime, ctime, birthtime} = item;
        // 过滤出年份符合的项
        if (mtime.getFullYear() === year) return item;
      })
      // 返回对象作为数组的元素项
      return {year, files};
    });

    // 生成 json
    writeJSON(j, dirs);

    // 由上而下，错误会阻塞，成功就会执行到此步
    console.log('操作成功！');
  } catch (err) {
    console.error(err);
  }
})(pathName, jsonPath);

2. 异步版（回调地狱）

// 导入模块
const path = require('path');
const fs = require('fs');

const pathName = './';  // 需遍历的文件夹路径
const jsonPath = './files.json';  // 生成 json 的文件路径

// 打开/创建文件并写入 JSON
function writeJSON(file, data) {
  fs.writeFile(file, JSON.stringify(data, '', '\t'), err => {
    err ? console.error(err) : console.log('操作成功！');
  });
}

// 异步操作（回调地狱）
((p, j) => {
  // 只能在异步回调内读取，外部读取是同步操作，所以空值
  const lists = []; // 存储原料
  const years = [];  // 用于存储年份

  // 异步遍历目录
  fs.readdir(p, (err, fileArr) => {
    if (err) throw err;

    // 遍历数组
    fileArr.forEach(file => {
      // 异步获取每个文件状态信息
      fs.stat(path.join(p, file), (err, stats) => {
        if (err) throw err;
        
        if (stats.isFile()) {
          // 初始化，加工排序后再给值
          const id = null;
          // 文件名
          const fileName = file;
          // 提取文件扩展名
          const extension = file.substring(file.lastIndexOf('.') + 1, file.length);
          // 解构
          let {size, atime, mtime, ctime, birthtime} = stats;
          // 文件大小转为 kb 单位，向下取整，小于等于 1kb 均为 1kb
          size = `${Math.floor(size / 1000) > 1 ? Math.floor(size / 1000) : 1} kb`;

          // 填充数组
          lists.push({
            id,
            extension,  // 扩展名
            fileName, // 文件名
            size, // 文件大小
            atime,  // 最近访问文件时间
            mtime,  // 最近修改内容时间
            ctime, // 最近改变状态时间
            birthtime // 文件创建时间
          });
        }

        // 遍历结束，开始干活
        if (lists.length === fileArr.length) {
          // 加工1（先升序给id）
          lists.sort((a, b) => {
            // （根据情况，选取你要排序的一种时间）
            return a.mtime - b.mtime;
          }).forEach((item, i) => {
            // 少于两位自动补零
            item.id = `${i+1}`.padStart(2,'0');
          });

          // 加工2（再降序获取年份）
            // 看情况，项目需要JSON倒序就加这步，否则就在上面写
          lists.sort((a, b) => {
            return b.mtime - a.mtime;
          }).forEach(({atime, mtime, ctime, birthtime}) => {
            const y = mtime.getFullYear();
            years.indexOf(y) < 0 ? years.push(y) : '<-- 避免重复';
          });
          
          // 成品（年份分组）
          const dirs = years.map(year => {
            // 过滤
            const files = lists.filter(item => {
              // 根据情况，选取你要排序的一种时间
              const {atime, mtime, ctime, birthtime} = item;
              // 过滤出年份符合的项
              if (mtime.getFullYear() === year) return item;
            })
            // 返回对象作为数组的元素项
            return {year, files};
          })

          // 生成 json
          writeJSON(j, dirs);
        }
      });
    });
  });
})(pathName, jsonPath);

3. promise 版（链式操作）

// 导入模块
const path = require('path');
const fs = require('fs/promises');

const pathName = './';  // 需遍历的文件夹路径
const jsonPath = './files.json';  // 生成 json 的文件路径

// 获取原料
function getLists(p, arr) {
  // 通过 all 将结果集一并传递给下一个 then()，【即作为 resolve()】
  return Promise.all(arr.map(file => {
    // 每个文件的信息组成的数组
    return fs.stat(path.join(p, file)).then(stats => {
      if (stats.isFile) {
        // 初始化，加工排序后再给值
        const id = null;
        // 文件名
        const fileName = file;
        // 提取文件扩展名
        const extension = file.substring(file.lastIndexOf('.') + 1, file.length);
        // 将获取的stats对象，解构
        let {size, atime, mtime, ctime, birthtime} = stats;
        // 文件大小转为 kb 单位，向下取整，小于等于 1kb 均为 1kb
        size = `${Math.floor(size / 1000) > 1 ? Math.floor(size / 1000) : 1} kb`;
        // 返回需要的数据对象
        return {
          id,
          extension,  // 扩展名
          fileName, // 文件名
          size, // 文件大小
          atime,  // 最近访问文件时间
          mtime,  // 最近修改内容时间
          ctime, // 最近改变状态时间
          birthtime // 文件创建时间
        }
      }
    });
  }));
}

// 原料加工，得到成品
function getDirs(arr) {
  // 其实此处可以不用 promise 函数，直接 return 数组结果就行了
  return new Promise((resolve, reject) => {
    // 用于存储年份
    const years = [];

    // 加工1（先升序给id）
    arr.sort((a, b) => {
      // （根据情况，选取你要排序的一种时间）
      return a.mtime - b.mtime;
    }).forEach((item, i) => {
      // 少于两位自动补零
      item.id = `${i+1}`.padStart(2,'0');
    });

    // 加工2（再降序获取年份）
      // 看情况，项目需要JSON倒序就加这步，否则就在上面写
    arr.sort((a, b) => {
      return b.mtime - a.mtime;
    }).forEach(({atime, mtime, ctime, birthtime}) => {
      const y = mtime.getFullYear();
      years.indexOf(y) < 0 ? years.push(y) : '<-- 避免重复';
    });

    // 成品（年份分组）
    resolve(years.map(year => {
      // 过滤
      const files = arr.filter(item => {
        // 根据情况，选取你要排序的一种时间
        const {atime, mtime, ctime, birthtime} = item;
        // 过滤出年份符合的项
        if (mtime.getFullYear() === year) return item;
      })
      // 返回对象作为数组的元素项
      return {year, files};
    }));
  });
}

// 打开/创建文件并写入 JSON
function writeJSON(file, data) {
  // 异步
  return fs.writeFile(file, JSON.stringify(data, '', '\t'));
}

// promise
((p, j) => {
  fs.readdir(p) // 遍历目录
  .then(files => getLists(p, files)) // 获取原料
  .then(lists => getDirs(lists))  // 加工完成
  .then(data => writeJSON(j, data))  // 出产
  .then(suc => console.log('操作成功！')) // 成功
  .catch(err => console.error(err));  // 失败
})(pathName, jsonPath);

4. async / await 版（异步改同步）

// 导入模块
const path = require('path');
const fs = require('fs/promises');
const { stat } = require('fs');

const pathName = './';  // 需遍历的文件夹路径
const jsonPath = './files.json';  // 生成 json 的文件路径

// 打开/创建文件并写入 JSON
function writeJSON(file, data) {
  // 异步写入（但 await 改为了同步，所以错误回调不需要了）
  fs.writeFile(file, JSON.stringify(data, '', '\t'));
}

// async/await 将异步改为了同步写法
(async (p, j) => {
  try {
    // 用于存储年份
    const years = [];

    // 得到每个原材料的 promise 对象组成的数组【注意map回调需要加async关键字】
    const promiseArr = (await fs.readdir(p)).map(async file => {
      // 初始化，加工排序后再给值
      const id = null;
      // 文件名
      const fileName = file;
      // 提取文件扩展名
      const extension = file.substring(file.lastIndexOf('.') + 1, file.length);
      // 将获取的stats对象，解构
      let {size, atime, mtime, ctime, birthtime} = await fs.stat(path.join(p, file));
      // 文件大小转为 kb 单位，向下取整，小于等于 1kb 均为 1kb
      size = `${Math.floor(size / 1000) > 1 ? Math.floor(size / 1000) : 1} kb`;
      // 返回需要的数据对象
      return {
        id,
        extension,  // 扩展名
        fileName, // 文件名
        size, // 文件大小
        atime,  // 最近访问文件时间
        mtime,  // 最近修改内容时间
        ctime, // 最近改变状态时间
        birthtime // 文件创建时间
      };
    });

    // 通过 Promise.all 将所有 promise 转为真正的数组
    const lists = await Promise.all(promiseArr);
    
    // 加工1（先升序给id）
    lists.sort((a, b) => {
      // （根据情况，选取你要排序的一种时间）
      return a.mtime - b.mtime;
    }).forEach((item, i) => {
      // 少于两位自动补零
      item.id = `${i+1}`.padStart(2,'0');
    });

    // 加工2（再降序获取年份）
      // 看情况，项目需要JSON倒序就加这步，否则就在上面写
    lists.sort((a, b) => {
      return b.mtime - a.mtime;
    }).forEach(({atime, mtime, ctime, birthtime}) => {
      const y = mtime.getFullYear();
      years.indexOf(y) < 0 ? years.push(y) : '<-- 避免重复';
    });
    
    // 成品（年份分组）
    const dirs = years.map(year => {
      // 过滤
      const files = lists.filter(item => {
        // 根据情况，选取你要排序的一种时间
        const {atime, mtime, ctime, birthtime} = item;
        // 过滤出年份符合的项
        if (mtime.getFullYear() === year) return item;
      })
      // 返回对象作为数组的元素项
      return {year, files};
    });
    
    // 生成 json
    await writeJSON(j, dirs);

    // 已为同步操作，所以若通畅无阻，即成功
    console.log('操作成功！');
  } catch (err) {
    console.error(err);
  }
})(pathName, jsonPath);

二、示例（遍历当前文件夹，并在当前文件夹生成json文件）

1. 文件夹列表

在这里插入图片描述

2. Node.js 遍历并生成 JSON 文件

终端cd进入当前目录（readfile.js目录）输入：node readfile.js
在这里插入图片描述

3. JSON 结构（年份基于 mtime 倒序，id基于 mtime 正序）

在这里插入图片描述

4. 关于 Stats 对象属性

在这里插入图片描述

三、Tips（排序建议）

文件基于 mtime （最后修改内容时间）进行分组，如果需要基于 atime（最近访问文件时间） / ctime（最近更改状态时间）/ birthtime （文件创建时间），需在以下地方进行修改：

a. 同步版

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

b. 异步版

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

c. promise 版

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4. async / await 版

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

iuukai
关注
专栏目录
go 递归tree关系_用golang递归构建无限级树状目录json数据和数据库
weixin_31093677的博客
12-29 1051
package mainimport ("encoding/json""fmt""os""path/filepath""sort")func main() {rootpath := "D:\\projects"root := FileNode{"projects", rootpath, []*FileNode{}}fileInfo, _ := os.Lstat(rootpath)walk(root...
yorc.json_DataX-HDFS(读写)
weixin_36118143的博客
12-23 547
DataX操做HDFS读取HDFS1 快速介绍HdfsReader提供了读取分布式文件系统数据存储的能力。在底层实现上，HdfsReader获取分布式文件系统上文件的数据，并转换为DataX传输协议传递给Writer。目前HdfsReader支持的文件格式有textfile(text)、orcfile(orc)、rcfile(rc)、sequence file(seq)和普通逻辑二维表(csv)类...
nodejs读取文件夹文件列表，循环json文件，处理数据并输出最终结果
u012804473的博客
03-09 1937
用于处理数据：对比两个不同文件夹中相同名称的json文件，然后拿到其中的json进行需要的操作，然后写入到新的文件夹中。
dir2json:生成给定目录的 JSON 映射。 最初是为自动化文件迁移作业而编写的
05-29
用法 node . -d <directory> -b <base url to prefix to link> -t <target> 选项： --help 显示帮助 [布尔值] --version显示版本号[boolean] -d, --directory 文件所在的根目录 [string] [required] -b, --base 以文件名和根目录名为前缀的基本路径 -t, --target 目标文件名
文件夹目录输出json文件
最新发布
surly
03-27 462
<!DOCTYPE html> <html> <head> <meta charset="utf-8"> <title></title> <style> h2 { text-align: center; } #file_input { display: none; } .userBtn { padding: 6px 25px; backgrou
Node.js读取某个目录下的所有文件夹名字并将其写入到json文件
weixin_30666753的博客
03-23 852
针对解决的问题是，有些时候我们需要读取某个文件并将其写入到对应的json文件(xml文件也行，不过目前用json很多，json是主流)。 源码如下:index.js var fs = require('fs'); let components = [] const files = fs.readdirSync('./') files.forEach(function (item,...
php 如何生成二级目录json,使用PHP根据已解码的JSON创建文件夹/文件结构
weixin_39654322的博客
03-19 180
例如,我下面有一个build.json文件.包含我在JSON中创建的基本文件夹/文件结构.{"folders": [{"name": "folder-a","files": [{"name": "file-a.html"},{"name": "file-b.html"}],"folders": [{"name": "sub-folder-a","files": [{"name": "sub-fil...
获取文件夹下在一段时间内修改过的文件，以目录形式输出,输出为JSON格式
qq_39661371的博客
03-01 306
获取在一段时间内修改过的文件，以目录形式输出,输出为JSON格式
【JS树状数据遍历入门】：掌握JSON与树结构转换，解锁前端新技能
![js遍历树结构json数据结构](https://media.geeksforgeeks.org/wp-content/cdn-uploads/iddfs2.png) ...树状结构广泛应用于文件系统的目录结构、网页的DOM树、公司组织结构等领域。它的层级关系能够
：树形结构遍历的递归与迭代：深度优先与广度优先的抉择
[：树形结构遍历的递归与迭代：深度优先与广度优先的抉择](https://img-blog.csdnimg.cn/20210316174558870.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4...
NodeJS 将文件夹按照存放路径变成一个对应的JSON的方法
12-23
在编程之前，一定要有一个信条：代码是为了减少工作量而生的，重复枯燥的工作是不能容忍的。 需求 这是由上篇文章衍生出的需求，我已经将一个文件夹内所有的文件名转译为英文，但我在页面上还需要将这些图片引入加载。如果一个一个手写到程序里，未免有点劳心劳神。那么何不将这个文件夹按照存放路径变成一个相应的JSON在前端请求并渲染呢？ 说干就干。 文件夹的路径如下所示： 一级路径：test 二级路径：A,B,C…共十三个文件夹 三级路径：每个二级路径下有3-8个文件夹不等 四级路径：a.jpg,b.jpg,c.jpg等数量不等的图片文件 思路 1.一个全局变量：数组类型obj。 2.递归遍历目录，是文
Node.JS 循环递归复制文件夹目录及其子文件夹下的所有文件
01-02
实现代码一： var fs = require('fs') var path = require('path') var copyFile = function(srcPath, tarPath, cb) { var rs = fs.createReadStream(srcPath) rs.on('error', function(err) { if (err) { console.log('read error', srcPath) } cb && cb(err) }) var ws = fs.createWriteStream(tarPath) ws.on(
Node.js高级编程【一】node 基础
weixin_37883657的博客
12-10 2028
Node 基础 1、课程概述 Node.js可以做什么 ？ 2、Node.js 架构 Native modules Builtin modules "胶水层" 底层 3、为什么是Node.js ？ Node 慢慢演化为一门服务端“语言” IO 是计算过程操作过程中最缓慢的环节 Reactor 模式，单线程完成多线程工作 Reactor 模式下实现异步IO、事件驱动 Node.js 更适用于 IO 密集型高并发请求 4、Node.js 的 异步...
node将目录下所有文件生成json数据，并批量重命名
luzhongk的博客
04-14 1469
var fs = require('fs'); var path = 'img'; fs.readdir(path,function(err,files){ //获取目录所有图片，并生成文件 //console.log(files); var msg = JSON.stringify(files); console.log(msg) fs.writeFile("img/图片名字.js
nodejs读取文件夹并解析json
yanlinpu的博客
10-17 940
var fs = require("fs"); var fp = "/tmp/dirname" var chunks = [] var length = 0; var sense = ["aaa"] var menu = fs.readdirSync(fp); menu.forEach(function(ele, index){ var info = fs.statSync(fp+"/...
node遍历文件夹并读取文件内容
张兴华的博客
10-30 3236
&lt;input type="file" webkitdirectory directory multiple&gt; var fs = require('fs'); var path = require('path');//解析需要遍历的文件夹 var filePath = path.resolve('./dist'); //调用文件遍历方法 fileDisplay(filePath); /...
nodejs 遍历json数据_NodeJS遍历指定目录中所有文件
weixin_39525097的博客
12-25 443
最近在用NodeJS做一个小的功能，不过发现Node中的IO非阻滞技术给开发带来了很多的麻烦。IO非阻滞本身并没有引入太多的麻烦，只不过因为自己用惯了阻滞思维，一时调整不过来自己的思维惯性，因而引发出不少的问题。很多时候改一下自己的思维方式，非阻滞技术带来的优越性也就体现出来并且可以毫无困难的继续将项目进行下去了，不过调整自己的思维习惯也不是很容易的，你必须无时无刻不在脑子里警醒着自己：我即将进行...
【JavaScript】JavaScript、Nodejs 遍历目录生成 JSON 串
子非渔的博客
03-28 1752
JavaScript、Nodejs 遍历目录生成 JSON 串 需求：给定路径，取出所有文件目录与文件名，生成 JSON 数据。 如： 目录： ├─abbrev ├─ansi │ ├─examples │ │ ├─beep │ │ ├─clear │ │ └─progress │ └─lib ├─balanced-match ├─base64-js │ ├─b...
NodeJS遍历文件夹生成JSON：自动化处理图片路径
本文介绍了如何使用Node.js将一个文件夹按照其层级结构转换成一个JSON对象，以便于...递归遍历文件系统，构建JSON结构，使前端可以轻松地获取并显示文件列表，降低了开发复杂度，体现了编程自动化处理问题的核心理念。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值