java 流拆分_java IO流将一个文件拆分为多个子文件代码示例

文件分割与合并是一个常见需求，比如：上传大文件时，可以先分割成小块，传到服务器后，再进行合并。很多高大上的分布式文件系统(比如：google的GFS、taobao的TFS)里，也是按block为单位，对文件进行分割或合并。

看下基本思路：

如果有一个大文件，指定分割大小后(比如：按1M切割)

step 1：

先根据原始文件大小、分割大小，算出最终分割的小文件数N

step 2:

在磁盘上创建这N个小文件

step 3:

开多个线程(线程数=分割文件数)，每个线程里，利用RandomAccessFile的seek功能，将读取指针定位到原文件里每一段的段首位置，然后向后读取指定大小(即：分割块大小)，最终写入对应的分割文件，因为多线程并行处理，各写各的小文件，速度相对还是比较快的。

下面代码是将一个文件拆分为多个子文件，每个大小是100K

package testIO;

import java.io.File;

import java.io.FileInputStream;

import java.io.FileOutputStream;

import java.util.Arrays;

public class subStream {

public static void main(String[] args) {

//先将源文件读取到内存中

int eachSize=100*1024;

File srcFile =new File("F:/test/test.txt");

//创建一个文件对象

splitFile(srcFile,eachSize);

}

public static void splitFile(File srcFile,int eachSize){

//判断文件是否符合拆分要求

if(srcFile.length()==0){

throw new RuntimeException("文件不符合拆分要求");

}

byte[] fileContent= new byte[(int) srcFile.length()];

try {

//将文件内容读取到内存中

FileInputStream fis=new FileInputStream(srcFile);

fis.read(fileContent);

fis.close();

}

catch (Exception e) {

e.printStackTrace();

}

//计算要次要拆分为多少份

int fileNumber;

if(fileContent.length%eachSize==0){

fileNumber = fileContent.length/eachSize;

} else{

fileNumber = fileContent.length/eachSize+1;

}

for (int i=0;i

String fileName = srcFile.getName()+"-"+i+".txt";

File fi = new File(srcFile.getParent(), fileName);

//在当前文件路径下创建拆分的文件

byte[] eachContent;

//将源文件内容复制到拆分的文件中

if(i!=fileNumber-1){

eachContent = Arrays.copyOfRange(fileContent, eachSize*i, eachSize*(i+1));

} else{

eachContent = Arrays.copyOfRange(fileContent, eachSize*i, fileContent.length);

}

try {

FileOutputStream fos = new FileOutputStream(fi);

fos.write(eachContent);

fos.close();

System.out.printf("输出子文件 %s,其大小是 %d,每个的大小是%d\n",fi.getAbsoluteFile(),fi.length(),eachContent.length);

}

catch (Exception e) {

// TODO: handle exception

e.printStackTrace();

}

}

}

}

总结

以上就是本文关于java IO流将一个文件拆分为多个子文件代码示例的全部内容，希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题，如有不足之处，欢迎留言指出。感谢朋友们对本站的支持！