java 读取大数据文件，处理大数据文件性能比较？

通过使用java提供的io，scanner类，apache提供的api处理大文件数据性能分析比较，代码如下：

Java代码  

1. package test;  
2.   
3. import java.io.BufferedOutputStream;  
4. import java.io.BufferedReader;  
5. import java.io.BufferedWriter;  
6. import java.io.File;  
7. import java.io.FileInputStream;  
8. import java.io.FileOutputStream;  
9. import java.io.FileReader;  
10. import java.io.IOException;  
11. import java.io.InputStream;  
12. import java.io.OutputStream;  
13. import java.io.OutputStreamWriter;  
14. import java.io.Reader;  
15. import java.util.Random;  
16. import java.util.Scanner;  
17.   
18. import org.apache.commons.io.FileUtils;  
19. import org.apache.commons.io.LineIterator;  
20. import org.junit.Test;  
21.   
22. public class TestFile {  
23.       
24.     //@Test  
25.     //造数据，测试下面各个方法读取数据性能  
26.     public void makeFile() throws IOException  
27.     {  
28.         File file = new File("D:\\phone.txt");  
29.           
30.         OutputStream os = new BufferedOutputStream(new FileOutputStream(file));  
31.         BufferedWriter bw=new BufferedWriter(new OutputStreamWriter(os));  
32.           
33.         //2百万  
34.         for(int i=0; i < 2000000; i++)  
35.         {  
36.             bw.write(bulidPhone());  
37.             bw.newLine();  
38.         }  
39.           
40.         bw.close();  
41.         os.close();  
42.     }  
43.       
44.     //生成字符串  
45.     private String bulidPhone()  
46.     {  
47.         Long lo = new Random().nextLong();  
48.         return String.valueOf(lo);  
49.     }  
50.       
51.     /** 
52.      * @Title: readTxt1 
53.      * @Description: 使用常规的jdk的io解析输出文件数据 
54.      * @throws IOException  
55.      */   
56.     @Test  
57.     public void readTxt1() throws IOException  
58.     {  
59.         long start = System.currentTimeMillis();  
60.         File file = new File("D:\\phone.txt");  
61.         Reader in = new FileReader(file);  
62.         BufferedReader br = new BufferedReader(in);  
63.         while(br.ready())  
64.         {  
65.             //System.out.println(br.readLine());  
66.             br.readLine();  
67.         }  
68.           
69.         in.close();  
70.         br.close();  
71.         long end = System.currentTimeMillis();  
72.         System.out.println("readTxt1方法，使用内存="+(Runtime.getRuntime().totalMemory()-Runtime.getRuntime().freeMemory())+",使用时间毫秒="+(end-start));  
73.     }  
74.       
75.     /** 
76.      * @Title: readTxt2 
77.      * @Description: 使用Scanner扫面文件解析文件数据 
78.      * @throws IOException  
79.      */   
80.     @Test  
81.     public void readTxt2() throws IOException  
82.     {  
83.         long start = System.currentTimeMillis();  
84.         File file = new File("D:\\phone.txt");  
85.         InputStream is = new FileInputStream(file);  
86.         Scanner scan = new Scanner(is,"UTF-8");  
87.           
88.         while(scan.hasNextLine())  
89.         {  
90.             //System.out.println(scan.nextLine());  
91.             scan.nextLine();  
92.             //scan.next();  
93.         }  
94.           
95.         is.close();  
96.         scan.close();  
97.           
98.         long end = System.currentTimeMillis();  
99.         System.out.println("readTxt2方法，使用内存="+(Runtime.getRuntime().totalMemory()-Runtime.getRuntime().freeMemory())+",使用时间毫秒="+(end-start));  
100.     }  
101.       
102.     /** 
103.      * @Title: readTxt3 
104.      * @Description: 使用org.apache.commons.io.FileUtils，apache工具类解析文件 
105.      * @throws IOException  
106.      */   
107.     @Test  
108.     public void readTxt3() throws IOException  
109.     {  
110.         long start = System.currentTimeMillis();  
111.         File file = new File("D:\\phone.txt");  
112.           
113.         LineIterator it = FileUtils.lineIterator(file, "UTF-8");  
114.           
115.         while(it.hasNext())  
116.         {  
117.             it.next();  
118.         }  
119.           
120.         it.close();  
121.           
122.         long end = System.currentTimeMillis();  
123.         System.out.println("readTxt3方法，使用内存="+(Runtime.getRuntime().totalMemory()-Runtime.getRuntime().freeMemory())+",使用时间毫秒="+(end-start));  
124.     }  
125. }  

运行结果如下：  
 

通过分析比较：  
1.apache的api处理时间最短，但是消耗的内存比jdk的io多。  
2.scanner类表现的最差，销售内存高，时间久。  
3.传统的jdk的io处理时间稍长，内存消耗低。