100万个文件的处理策略

我们购买了1个数据库，含有100万个pdf文件，如何合理的进行分布，是个需要好好考虑的问题。我们策略是对于1个文件名字，比如123456.pdf，我们就先建立1个文件夹为12，下面建立一层为34，最后文件被改名为56.pdf，搞定！这样不会有太多的层次，读取数据相对比较快！否则1个文件夹下放10000个文件，是肯定不行的。代码如下：

 

<?php $dir = "/home/xujie/pm_pdf/"; //exit("value=".intval(6/5));//1 //rmdir($dir); 260945-260999所有的pdf由于并发访问的问题，没有成功下载。979276 //从第60万开始，分两个层次，然后根据文件编号来建立一个文件。比如：id为600000的文件，路径为/60/00/00.pdf。 //for($i=592584;$i<979276;$i++){ $i=600100; $id = $_GET['page']; if(empty($id)){ exit("id不能为空！"); } while($i<979276){ // echo "downloading....."; $j = intval($i/10000); //第一层1-98个文件夹 $j2 = intval(($i%10000)/100);//第2层1-100个文件夹 $j2 = sprintf("%02d",$j2); // echo($i/10000); // echo("<br/>"); $dir1 = $dir.$j."/"; //建立第一层1-98个文件夹 if(!file_exists($dir1)){ mkdir ($dir1,0777); } $dir2 = $dir1.$j2."/"; //建立第二层1-100个文件夹 if(!file_exists($dir2)){ mkdir ($dir2,0777); //exit($dir2); } if($i % 10000 == 0){ $id++; header("Location: download.php?id=$id"); } $url = "http://192.168.200.45:81/bin/Search.dll?DownCurPaper&CSID={A86A5635-FE91-482A-A04B-CD65370698C8}&szNO=".$i; $content = file_get_contents($url); $name = sprintf("%02d",$i%100); $file = $dir2."$name.pdf"; //生成第三层的文件 // exit($file); if(!file_exists($file)){ $file_pointer = fopen($file,"w"); fwrite($file_pointer,$content); } $i++; } echo "finished!";

 

生成2位数：$j2 = sprintf("%02d",$j2);