回忆一下:1年前在做断点续传因粗心编码导致的内存溢出问题。当时在做分片时,当分片容量大于512M时,内存溢出,抛出异常:java.lang.OutOfMemoryError: Java heap space。
分析一下:当时虚拟机堆内存正好设置为512M,当申请堆空间大于该值时出现如上异常。
今日重写代码测试,讲解出错的原因以及解决方案。
public static void testOutMemory() throws IOException {
//绝对路径
String inPath = "D:/TestFile/in/bigFileTest.zip";
String outPath = "D:/TestFile/out/bigFileTest.zip";
File inFile = new File(inPath);
File outFile = new File(outPath);
if (!inFile.exists()) {
//TODO 文件不存在
}
long fileLength = inFile.length();//文件大小,我的测试值为: 1820595407
ByteArrayOutputStream bos = new ByteArrayOutputStream((int) fileLength);//这一行会抛出异常
BufferedInputStream in = new BufferedInputStream(new FileInputStream(inFile));
FileOutputStream fileOutputStream = new FileOutputStream(outFile);
int buf_size = 1024;
byte[] buffer = new byte[buf_size];
int len = 0;
while (-1 != (len = in.read(buffer, 0, buf_size))) {
bos.write(buffer, 0, len);
}
byte[] data = bos.toByteArray();
fileOutputStream.write(data);
fileOutputStream.flush();
fileOutputStream.close();
bos.close();
System.out.println("测试完成");
}
执行方法,在ByteArrayOutputStream bos = new ByteArrayOutputStream((int) fileLength);这一行会抛出异常,查看ByteArrayOutputStream构造方法,其中有一句为buf = new byte[size], 也正是在这一句抛出的异常,问题已经找到。
难道需要通过增加堆内存的方式来解决这个问题?当然不是。虽然可以暂时解决问题,但依然会埋下一枚地雷,当下一文件更大时,这个问题将会重新出现。
废话不多说,在代码中用一次缓存较大数据本身就不可取,上面的代码实现的文件传输本就不应该先把文件存放到内存,再将内存中的数据传输到其他位置,很明显这是一次很垃圾的编码。于是,优化如下:
public void testOutMemory() throws IOException {
// 绝对路径
String inPath = "D:/TestFile/in/bigFileTest.zip";
String outPath = "D:/TestFile/out/bigFileTest.zip";
File inFile = new File(inPath);
File outFile = new File(outPath);
if (!inFile.exists()) {
// TODO 文件不存在
}
BufferedInputStream in = new BufferedInputStream(new FileInputStream(inFile));
FileOutputStream fileOutputStream = new FileOutputStream(outFile);
int buf_size = 1024;
byte[] buffer = new byte[buf_size];
int len = 0;
while (-1 != (len = in.read(buffer, 0, buf_size))) {
fileOutputStream.write(buffer, 0, len);//一次仅传输1K,不会溢出
}
fileOutputStream.flush();
fileOutputStream.close();
System.out.println("测试完成");
}
(PS:我的堆内存为2G,文件大小约1.7G,为什么会内存溢出了,在这篇文章中会进行详细探索)。
回复里面好像不参添加图片,为了说明这段代码不会出现OOM,刚才亲测文件下载,大约5个G,@我问佛陀 请见: