Java中使用IO流实现大文件的分裂与合并

文件分割应该算一个比较实用的功能,举例子说明吧比如说:你有一个3G的文件要从一台电脑Copy到另一台电脑, 但是你的存储设备(比如SD卡)只有1G ,这个时候就可以把这个文件切割成3个1G的文件 ,分开复制, 最后把三个文件合并, 这样就解决问题了 ;再比如说, 你有一个上百M的文件要上传到FTP ,但是这个FTP限制你单个文件不能超过10M 这时候也可以用文件分割的办法解决问题。既然分割了,那么在我们再次使用的时候就需要合并了,今天我们就通过Java代码实现文件分裂与合并的能。                            现在通过演示我本机的一个文件来演示,文件目录为:E:\eclipse-jee-juno-win32.zip(今天就把大家痛恨的eclipse好好玩一下):

下图为分割前的情况:

分割后的情况为:

Java分割文件的方法:

 1 //文件分割的方法(方法内传入要分割的文件路径以及要分割的份数)
 2 private static void splitFileDemo(File src, int m) {
 3     if(src.isFile()) {
 4         //获取文件的总长度
 5         long l = src.length();
 6         //获取文件名
 7         String fileName = src.getName().substring(0, src.getName().indexOf("."));
 8         //获取文件后缀
 9         String endName = src.getName().substring(src.getName().lastIndexOf("."));
10         System.out.println(endName);
11         InputStream in = null;
12         try {
13             in = new FileInputStream(src);
14             for(int i = 1; i <= m; i++) {
15                 StringBuffer sb = new StringBuffer();
16                 sb.append(src.getParent()).append("\\").append(fileName)
17                 .append("_data").append(i).append(endName);
18                 System.out.println(sb.toString());
19                 File file2 = new File(sb.toString());
20                 //创建写文件的输出流
21                 OutputStream out = new FileOutputStream(file2);
22                 int len = -1;
23                 byte[] bytes = new byte[10*1024*1024];
24                 while((len = in.read(bytes))!=-1) {
25                     out.write(bytes, 0, len);
26                     if(file2.length() > (l / m)) {
27                         break;
28                     }
29                 }
30                 out.close();
31             }
32         } catch (Exception e) {
33             e.printStackTrace();
34         }
35         finally {
36             try {
37                 in.close();
38             } catch (IOException e) {
39                 e.printStackTrace();
40             }
41         }
42     }
43 }

Java合并文件的方法:

 1 //文件合并的方法(传入要合并的文件路径)
 2 private static void joinFileDemo(String... src) {
 3     for(int i = 0; i < src.length; i++) {
 4         File file = new File(src[i]);
 5         String fileName = file.getName().substring(0, file.getName().indexOf("_"));
 6         String endName = file.getName().substring(file.getName().lastIndexOf("."));
 7 
 8         StringBuffer sb = new StringBuffer();
 9         sb.append(file.getParent()).append("\\").append(fileName)
10         .append(endName);
11         System.out.println(sb.toString());
12         try {
13             //读取小文件的输入流
14             InputStream in = new FileInputStream(file);
15             //写入大文件的输出流
16             File file2 = new File(sb.toString());
17             OutputStream out = new FileOutputStream(file2,true);
18             int len = -1;
19             byte[] bytes = new byte[10*1024*1024];
20             while((len = in.read(bytes))!=-1) {
21                 out.write(bytes, 0, len);
22             }
23             out.close();
24             in.close();
25         } catch (Exception e) {
26             e.printStackTrace();
27         }
28     }
29     System.out.println("文件合并完成!");
30 }

写之前觉得挺复杂,写完之后觉得也就那样,大家也练练手呗。

 

转载于:https://www.cnblogs.com/panhouye/p/6204505.html

程序测试可用,直接解压导入到工程就可以,bat文件跟shell文件是用于在window跟linux上直接执行的脚本 我把开发的配置文档附上: 1.程序为定时任务,任务执行时间在bin目录下的配置文件mergeFilleUtil.properties配置,在配置文件,TASK_PERIOD表示任务执行时间间隔,单位为妙,如一天的时间间隔配置是86400,TASK_BEGIN_HOUR表示任务开始的小时时间,比如9点,TASK_BEGIN_MINUTE表任务开始的分钟,比如30分。 2. 程序用log4j记录日志,日志分正常信息跟错误信息两个级别,日志文件存放在log4j文件夹下。考虑到文件很多,日志解压、移动文件每解压、移动1000个记录一次,合并、删除文件合并、删除50000个记录一次, 3. 启动任务前需配置文件解压合并的路径,本程序需配置的路径如下: 1). PROVINCE_DIR:原始文件存放的路径,必须配置到省的上一级路径,比如存放安徽省的文件路径为E:\test\rootfile\anhui,那么文件的路径必须配置为E:\test\rootfile,否则不能正确显示合并结果; 2). UN_ZIP_PATH:存放解压后的文件的路径; 3). OUT_PATH:存放合并后的文件路径; 4). DONE_FILE_PATH:存放已经解压处理过的文件; 5). DELETE_PATH:配置程序运行结束后欲删除文件的路径,如想删除多个文件夹下的文件,路径之间用逗号隔开,勿加空格,比如:E:\test\rootfile,E:\test\unZip; 4. 注意事项: 本解压合并程序处理文件的逻辑如下: 程序每次解压都去PROVINCE_DIR文件下去解压,将解压后的文件存放到UN_ZIP_PATH下,之后程序启动合并程序合并UN_ZIP_PATH下文件,将合并后的文件按照省份名称存放到OUT_PATH,一个省一个文件。当解压合并结束后,程序将PROVINCE_DIR路径下的文件移动到DONE_FILE_PATH下,并且删除PROVINCE_DIR跟UN_ZIP_PATH下文件,这样保证程序每次运行PROVINCE_DIR文件夹下的文件跟UN_ZIP_PATH下的文件都是最新未处理过的,避免了不断判断文件历史记录所带来的大量时间消耗。 所以为了保证文件解压跟合并的正确性,必须配置好DELETE_PATH路径下的文件,否则合并后的结果是不准确的。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值