Java读取和操作大数据文本数据

在处理文本时，经常遇到超过1g存储的数据，直接简单的读取，可能遇到java空间不足的问题，为解决此问题，可将大文本数据按照行进行切分为很多块，并将每一块存储为一个文本

1. public class BigDataRead {
3. public static void main(String[] args) throws IOException {
4. long timer = System.currentTimeMillis();
5. int bufferSize = 20 * 1024 * 1024;//设读取文件的缓存为20MB
6. //建立缓冲文本输入流
7. File file = new File("I:/qianyang/预测数据/user_contentdetection_qianyang");
8. FileInputStream fileInputStream = new FileInputStream(file);
9. BufferedInputStream bufferedInputStream = new BufferedInputStream(fileInputStream);
10. //注意这里有时会乱码，根据自己的文本存储格式，进行调整
11. InputStreamReader inputStreamReader = new InputStreamReader(bufferedInputStream,"utf-8");
12. BufferedReader input = new BufferedReader(inputStreamReader, bufferSize);
13. //要分割的块数减一,这里表示分割为31个文件
14. int splitNum = 30;
15. //12046表示我的输入本文的行数，我的文本12046行，由于每行文本较长，所有存储占用较大
16. int fileLines = 12046;
17. //分割后存储每个块的行数
18. long perSplitLines = fileLines / splitNum;
19. for (int i = 0; i <= splitNum; ++i){
20. //分割
21. //每个块建立一个输出
22. BufferedWriter output = new BufferedWriter( new OutputStreamWriter( new FileOutputStream( new File("I:/qianyang/预测数据/分块/part" + i + ".txt")),"gbk"));
23. String line = null;
24. //逐行读取，逐行输出
25. for (long lineCounter = 0; lineCounter < perSplitLines && (line = input.readLine()) != null; ++lineCounter)
26. {
27. output.append(line + "\r");
28. }
29. output.flush();
30. output.close();
31. output = null;
32. }
33. input.close();
34. timer = System.currentTimeMillis() - timer;
35. //我的1.6g数据不要1分钟，分割完毕
36. System.out.println("处理时间：" + timer);
37. }
39. }