java快速处理完1万个文件,遍历100万个文件,该如何解决

遍历100万个文件

在window系统中有一个大约100万个文件的文件夹，大小大约29g。现在想用java/C# 或其它语言 遍历这个文件夹中的所有文件，按照文件创建时间分到不同的文件夹中。

自己尝试用java，但内存溢出(主要是文件太多)。不知有没有其它方法？

------解决方案--------------------

引用:当我像这样列一下所有的文件名时，java内存已经溢出了。

现在就是想获取这个文件夹下面的所有文件名。

亲，估计是你内存有点小。 估算得500多M。

//假设每个文件名占用50字节,共100万个文件名,那么估计占用字节数

int mb = 1024*1024;

double mem = 50*10000000 /mb;

System.out.println("估计占用内存:"+mem+"MB");

------解决方案--------------------

建议直接用批处理FOR命令，建立一个move1m.bat

@ECHO OFF

SET HOME=D:\test\1M

FOR /R %HOME% %%I IN (*.*) DO (

SET LAST_MODIFIED=%%~tI

SET YEAR=%LAST_MODIFIED:~0,4%

SET MONTH=%LAST_MODIFIED:~5,2%

SET DIR=%HOME%\%YEAR%%MONTH%

MD %DIR%

MOVE %%I %DIR%\%%~nxI

)

测试过了12w个文件，应该没问题

------解决方案--------------------

计算机组成原理→DOS命令→汇编语言→C语言(不包括C++)、代码书写规范→数据结构、编译原理、操作系统→计算机网络、数据库原理、正则表达式→其它语言(包括C++)、架构……

在cmd窗口里面执行以下命令

cd /d d:\mydir

dir /tc /o-d /a-d *.* >d:\allfiles.txt

之后d:\allfiles.txt中为d:\mydir下所有文件按创建日期时间从新到旧排序的文件。

驱动器 D 中的卷是 xxx

卷的序列号是 xxx

D:\mydir 的目录

2011-09-08  14:58                27 135.txt

2011-08-16  10:51                 9 uid.txt

2011-04-19  16:23            25,189 cl.txt

2010-12-24  09:11            16,898 出租.txt

2010-12-14  14:08            13,085 出租1.txt

2010-12-14  14:08            54,629 gcc.txt

6 个文件        109,837 字节

0 个目录  9,263,505,408 可用字节

然后可以使用UltraEdit32将其内容改为批处理比如f.bat

cd /d d:\mydir

md 2011-09&copy 135.txt   2011-09

md 2011-08&copy uid.txt   2011-08

md 2011-04&copy cl.txt    2011-04

md 2010-12&copy 出租.txt  2010-12

md 2010-12&copy 出租1.txt 2010-12

md 2010-12&copy gcc.txt   2010-12

然后在cmd窗口中执行这个批处理即可。

------解决方案--------------------

引用:引用:

嚯嚯，楼上，100多万的文件信息，你以为写到一个txt文件里面，速度很快？读这个TXT速度会慢得和蜗牛差不多。

2楞子，又不是一次写入，呆！

创建文件夹的时候，就写入啊！

我就不信，哪个2B手工创建的100万个文件夹，肯定也是程序实现。那程序实现的，就可以加以控制。创建完一个，写一条记录，有问题吗？

S B，100W个文件【已经存在】了。现在问题是对【已经存在】的100W个文件遍历。

------解决方案--------------------

引用:引用:

按照文件创建时间分到不同的文件夹中。

...

(本来写了一大堆，结果发现是Java区的。。)

有2个Win32的API: FindFirstFile FindNextFile, 但是 Java/C#的就不知道了。

一次只获取一个文件信息，分类的话……有一次遍历就完成的算法。

希望不要产生1W个文件夹……

C#可以利用 P/Invoke 的方式读调用啊?! 如果楼主不嫌慢的话, 这应该可以是个好办法