Java把一个大的文本文件拆分成几个小的文件

   Java把一个大的文本文件拆分成几个小的文件

 一、背景

         本地调用线上服务运行了一个程序，运行完成后，日志文件644MB，由于日志中没有统计数据的代码，所以想用日志文件统计一个运行的结果。但是发现：用Notepad++打不开日志文件，原因是文件太大。所以才想到用程序实现

        拆分的粒度：每个拆分后的小文件在100MB左右。

二、java代码

       1. 由于不知道日志文件有多少行,所以先运行一下代码，得到日志文件的行数        

 

1. import java.io.*;

2.  

3. /**

4. * Created by on 2017/12/8.

5. */

6. public class BeforeBreakFile {

7.  

8. public static void main(String args[]) {

9. try {

10. FileReader read = new FileReader("D:/text.log");

11. BufferedReader br = new BufferedReader(read);

12. String row;

13.  

14. int rownum = 1;

15. while ((row = br.readLine()) != null) {

16. rownum ++;

17. }

18. System.out.println("rownum="+rownum);

19. } catch (FileNotFoundException e) {

20. e.printStackTrace();

21. } catch (IOException e) {

22. e.printStackTrace();

23. }

24. }

25. }

得到日志的行数是：

    

2.得到的总行数是3249276，除以7得到大约464183

   

1. import java.io.*;

2.  

3. /**

4. * Created by on 2017/12/8.

5. */

6. public class BreakFile {

7.  

8. public static void main(String args[]) {

9. try {

10. FileReader read = new FileReader("D:/text.log");

11. BufferedReader br = new BufferedReader(read);

12. String row;

13.  

14. int rownum = 1;

15.  

16. int fileNo = 1;

17. FileWriter fw = new FileWriter("D:/text"+fileNo +".txt");

18. while ((row = br.readLine()) != null) {

19. rownum ++;

20. fw.append(row + "\r\n");

21.  

22. if((rownum / 464183) > (fileNo - 1)){

23. fw.close();

24. fileNo ++ ;

25. fw = new FileWriter("D:/text"+fileNo +".txt");

26. }

27. }

28. fw.close();

29. System.out.println("rownum="+rownum+";fileNo="+fileNo);

30. } catch (FileNotFoundException e) {

31. e.printStackTrace();

32. } catch (IOException e) {

33. e.printStackTrace();

34. }

35. }

36. }

 

运行的结果是：