Java读写文本文件

引用:http://www.cnblogs.com/nolan022/articles/2615794.html

Java读写文本文件的细节-FileWriter

 经常会涉及到读写文本文件的情况,尤其是需要区分追加和替换的情况。自己是这样实现的:

public static boolean updateContent(String name,String content,boolean append){
        boolean res = true;
        String path = BASE_PATH+name;
        File file = new File(path);        
        try {
            if (!file.exists()) {
                file.createNewFile();
            }
            FileWriter writer = new FileWriter(file,append);
            if(append){
                content = System.getProperty("line.separator")+content;
            }
            writer.write(content);
            writer.flush();
            writer.close();
        } catch (IOException ex) {
            res = false;
            ex.printStackTrace();
        }
        return res;
    }
 
根据append参数区域是要追加内容还是替换原来所有的内容,如果为false,则会清空原有的所有内容,只写入本次的内容;否则将新的内容追加到原有内容的后面,并且新旧内容用换行符自动分开,即写入不同的行。
 
其实FileWriter的构造函数的第二参数就是为此而设计的,只是默认的实现中不会用换行符来分割新旧内容而已。
如果不想用FileWriter默认的实现,也可以自己编写代码实现,即先判断是否要追加,且原有内容有效,则先读取到缓存:
long len = file.length();
            if(append && len>0){
                if(len > 0){
                    StringBuffer buff = new StringBuffer();
                    BufferedReader reader = new BufferedReader(new FileReader(file));
                    String txt = reader.readLine();
                    while(txt != null){
                        buff.append(txt);
                        buff.append(System.getProperty("line.separator"));
                        txt=reader.readLine();
                    }
                    if(txt != null){
                        buff.append(txt);
                        buff.append(System.getProperty("line.separator"));
                    }
                    reader.close();
                    content = buff.toString()+content;
                }
 
            }
 
然后再将合并后的内容一起写入。
当文件太太时,这种方式就会有内存溢出的危险。那就不要读取出来,而是移动文件指针到末尾,再写入即可。
 
特别要注意的是 FileWriter只有一个参数的构造函数,缺省会将原来的文件清空!FileWriter fw = new FileWriter(file);
要特别注意!!
 

Java读写大文本文件(2GB以上)

如下的程序,将一个行数为fileLines的文本文件平均分为splitNum个小文本文件,其中换行符'r'是linux上的,windows的java换行符是'\r\n':

  1. package kddcup2012.task2.FileSystem;  
  2.   
  3. import java.io.BufferedInputStream;  
  4. import java.io.BufferedReader;  
  5. import java.io.File;  
  6. import java.io.FileInputStream;  
  7. import java.io.FileWriter;  
  8. import java.io.IOException;  
  9. import java.io.InputStreamReader;  
  10.   
  11. public class FileSplit  
  12. {     
  13.     public static void main(String[] args) throws IOException  
  14.     {  
  15.         long timer = System.currentTimeMillis();  
  16.         int bufferSize = 20 * 1024 * 1024;//设读取文件的缓存为20MB   
  17.           
  18.         //建立缓冲文本输入流   
  19.         File file = new File("/media/Data/毕业设计/kdd cup/数据/userid_profile.txt");  
  20.         FileInputStream fileInputStream = new FileInputStream(file);  
  21.         BufferedInputStream bufferedInputStream = new BufferedInputStream(fileInputStream);  
  22.         InputStreamReader inputStreamReader = new InputStreamReader(bufferedInputStream);  
  23.         BufferedReader input = new BufferedReader(inputStreamReader, bufferSize);  
  24.           
  25.         int splitNum = 112-1;//要分割的块数减一   
  26.         int fileLines = 23669283;//输入文件的行数   
  27.         long perSplitLines = fileLines / splitNum;//每个块的行数   
  28.         for (int i = 0; i <= splitNum; ++i)  
  29.         {  
  30.             //分割   
  31.             //每个块建立一个输出   
  32.             FileWriter output = new FileWriter("/home/haoqiong/part" + i + ".txt");  
  33.             String line = null;  
  34.             //逐行读取,逐行输出   
  35.             for (long lineCounter = 0; lineCounter < perSplitLines && (line = input.readLine()) != null; ++lineCounter)  
  36.             {  
  37.                 output.append(line + "\r");  
  38.             }  
  39.             output.flush();  
  40.             output.close();  
  41.             output = null;  
  42.         }  
  43.         input.close();  
  44.         timer = System.currentTimeMillis() - timer;  
  45.         System.out.println("处理时间:" + timer);  
  46.     }  
  47. }  

以上程序处理大文本文件只需要30MB左右的内存空间(这和所设的读取缓冲大小有关),但是速度不是很快,在磁盘没有其他程序占用的情况下,将200MB文件分割为112份需要20秒(机器配置:Centrino2 P7450 CPU,2GB DDR3内存,Ubuntu 11.10系统,硬盘最大读写速度大约60MB/S)。

另外,对于几百兆到2GB大小的文件,使用内存映射文件的话,速度会块一些,但是内存映射由于映射的文件长度不能超过java中int类型的最大值,所以只能处理2GB以下的文件。


  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值