Java中的流(5)大数据流的分段读取

最新推荐文章于 2024-05-29 07:21:58 发布

banyinlve3147

最新推荐文章于 2024-05-29 07:21:58 发布

阅读量1.1k

点赞数

文章标签： java 大数据

原文链接：http://www.cnblogs.com/sjjg/p/4686946.html

版权

当处理从文件或网络来源的InputStream时，由于数据量可能非常大，直接用流的大小创建byte[]可能导致内存不足。为解决此问题，可以采用分段读取的策略。利用InputStream的available()方法获取可读取的大小，根据返回值决定每次读取的字节数，确保不超过缓冲区大小。这样，当可读大小大于缓冲区时，多次读取，若小于缓冲区则一次性读取所有可读数据。

摘要由CSDN通过智能技术生成

来自文件或网络的InputStream数据量可能很大，如果用流的大小申请byte[]，可能内存不足报错。

解决方案：分段读取

InputStream的方法int available()返回本次可读取的流的大小。如果可读大小大于缓冲大小，那么每次只读缓冲大小的数据，读n次后再读余下的

，如果可读数小于缓冲大小，那么读全部可读大小。

如：

public static final int MAX_BUFFER = 1024*512;//512k,可以调小，太大会内存不足

 1 　　void save_to_file(InputStream is, long fileSize) throws IOException {
 2         File file = new File(Downloader.FILE_PATH, mFileName);
 3         FileOutputStream fos = new FileOutputStream(file, true);
 4         long sz = 0;
 5         byte buffer[] = new<