用MappedByteBuffer进行特大文件拷贝分割

最新推荐文章于 2024-07-25 17:40:47 发布
最新推荐文章于 2024-07-25 17:40:47 发布
阅读量279 收藏
点赞数
文章标签： J# 编程 JDK SUN
目的：
有时候用U盘转移大文件时，U盘空间太小，想写一个小程序能把文件分割方便转移。

问题一：用Buffer直接将文件（1G以上）映入内存，不可能直接进物理内存。
解决方案：将文件用Map映射到一个MappedByteBuffer中

问题二：报告“java.io.IOException: 存储空间不足，无法处理此命令。”异常。
解决方案：将文件分段映射。注意文件较大时必须显式调用
System.gc();
System.runFinalization();
否则还是可能报上述异常。
原因：《JAVA编程思想》4.3 清除：收尾和垃圾收集 有如下说明：
当然，Java可用垃圾收集器回收由不再使用的对象占据的内存。现在考虑
一种非常特殊且不多见的情况。假定我们的对象分配了一个“特殊”内存区
域，没有使用new。[color=red]垃圾收集器只知道释放那些由new分配的内存[/color]，所以不知
道如何释放对象的“特殊”内存。为解决这个问题，Java提供了一个名为
finalize()的方法，可为我们的类定义它。

问题三：原文件不可被删除（在程序退出之前）。
解决方案：JDK API 1.60中有“映射的字节缓冲区和它所表示的文件映射关系在该缓冲
区本身成为垃圾回收缓冲区之前一直保持有效。 ”关于此问题众说纷纭，并
且在sun.bug中也在讨论。笔者认为只要最后把映射指向一个无关的文件即可
解决。

关键代码：
frame.jTextField6.getText() //待分割的文件
frame.jTextField5.getText()+"\\"+this.findname() //保存位置
findex //方便以后组合 

try{
            File fcut = new File(frame.jTextField6.getText());
            File fsave = new File(frame.jTextField5.getText()+"\\"+this.findname());
            if(!fsave.exists()){
                fsave.mkdir();
            }
            File findex = new File(frame.jTextField5.getText()+"\\"+this.findname()+"\\cut.index");
            FileWriter fw = new FileWriter(findex);
            BufferedWriter bw = new BufferedWriter(fw);
            bw.write(this.findname()+"."+this.findkuozhan(),0,(this.findname()+"."+this.findkuozhan()).length());
            bw.newLine();

            int num = size_i;  //分割份数
            long totalsize = fcut.length();   //文件总大小
            long persize = totalsize/num;     //每个大小

            FileInputStream fis = new FileInputStream(fcut);
            FileChannel fic = fis.getChannel();

            if(persize>buffersize){
                for(int i=0;i<num;i++){
                    RandomAccessFile ras = new RandomAccessFile(frame.jTextField5.getText()+"\\"+this.findname()+"\\"+this.findname()+".cut"+(i+1),"rw");
                    FileChannel frs = ras.getChannel();
                    if(i<num-1){
                        for (int j = 0; j < persize / buffersize; j++) {
                            if (j < persize / buffersize - 1) {
                                MappedByteBuffer mibb = fic.map(FileChannel.MapMode.READ_ONLY,i * persize + j * buffersize,buffersize);
                                MappedByteBuffer mobb = frs.map(FileChannel.MapMode.READ_WRITE,j*buffersize,buffersize);
                                mobb.put(mibb);
                                mibb.clear();
                                mobb.clear();
                            }else{
                                MappedByteBuffer mibb = fic.map(FileChannel.MapMode.READ_ONLY,i * persize + j * buffersize,buffersize+persize%buffersize);
                                MappedByteBuffer mobb = frs.map(FileChannel.MapMode.READ_WRITE,j*buffersize,buffersize+persize%buffersize);
                                mobb.put(mibb);
                                mibb.clear();
                                mobb.clear();
                            }
                        }
                        System.gc();
                        System.runFinalization();
                        bw.write(frame.jTextField5.getText()+"\\"+this.findname()+"\\"+this.findname()+".cut"+(i+1),0,(frame.jTextField5.getText()+"\\"+this.findname()+"\\"+this.findname()+".cut"+(i+1)).length());
                        bw.newLine();
                    }else{
                        for (int j = 0; j < persize / buffersize; j++) {
                            if (j < persize / buffersize - 1) {
                                MappedByteBuffer mibb = fic.map(FileChannel.MapMode.READ_ONLY,i * persize + j * buffersize,buffersize);
                                MappedByteBuffer mobb = frs.map(FileChannel.MapMode.READ_WRITE,j*buffersize,buffersize);
                                mobb.put(mibb);
                                mibb.clear();
                                mobb.clear();
                            }else{
                                MappedByteBuffer mibb = fic.map(FileChannel.MapMode.READ_ONLY,i * persize + j * buffersize,totalsize-(i * persize + j * buffersize));
                                MappedByteBuffer mobb = frs.map(FileChannel.MapMode.READ_WRITE,j*buffersize,totalsize-(i * persize + j * buffersize));
                                mobb.put(mibb);
                                mibb.clear();
                                mobb.clear();
                            }
                        }
                        System.gc();
                        System.runFinalization();
                        bw.write(frame.jTextField5.getText()+"\\"+this.findname()+"\\"+this.findname()+".cut"+(i+1),0,(frame.jTextField5.getText()+"\\"+this.findname()+"\\"+this.findname()+".cut"+(i+1)).length());
                        bw.close();
                        fw.close();
                    }
                    ras.close();
                    frs.close();
                }
                fis.close();
                fic.close();

            }else{
                for(int i=0;i<num;i++){
                    RandomAccessFile ras = new RandomAccessFile(frame.jTextField5.getText()+"\\"+this.findname()+"\\"+this.findname()+".cut"+(i+1),"rw");
                    FileChannel frs = ras.getChannel();
                    if(i<num-1){

                        MappedByteBuffer mibb = fic.map(FileChannel.MapMode.READ_ONLY,i * persize,persize);
                        MappedByteBuffer mobb = frs.map(FileChannel.MapMode.READ_WRITE,0,persize);
                        mobb.put(mibb);
                        mibb.clear();
                        mobb.clear();

                        System.gc();
                        System.runFinalization();
                        bw.write(frame.jTextField5.getText()+"\\"+this.findname()+"\\"+this.findname()+".cut"+(i+1),0,(frame.jTextField5.getText()+"\\"+this.findname()+"\\"+this.findname()+".cut"+(i+1)).length());
                        bw.newLine();
                    }else{

                        MappedByteBuffer mibb = fic.map(FileChannel.MapMode.READ_ONLY,i * persize,totalsize-i * persize);
                        MappedByteBuffer mobb = frs.map(FileChannel.MapMode.READ_WRITE,0,totalsize-i * persize);
                        mobb.put(mibb);
                        mibb.clear();
                        mobb.clear();

                        System.gc();
                        System.runFinalization();
                        bw.write(frame.jTextField5.getText()+"\\"+this.findname()+"\\"+this.findname()+".cut"+(i+1),0,(frame.jTextField5.getText()+"\\"+this.findname()+"\\"+this.findname()+".cut"+(i+1)).length());
                        bw.close();
                        fw.close();
                    }
                    ras.close();
                    frs.close();
                }
                fis.close();
                fic.close();


            }
        jop = new JOptionPane();
        jop.showMessageDialog(frame.getContentPane(),"文件分割完毕！", "成功", JOptionPane.ERROR_MESSAGE);
        }catch(Exception e){
            jop = new JOptionPane();
            jop.showMessageDialog(frame.getContentPane(),e.toString(), "错误", JOptionPane.ERROR_MESSAGE);
        }
canyue0123456
关注
使用内存文件映射MappedByteBuffer读超大文件可能会遇到的问题
liinux-Talk is cheap,show me the code.
04-27 1758
使用内存文件映射MappedByteBuffer读超大文件可能会遇到的问题 这种方式存在一个致命问题就是依然没法读取超大文件（大于 Integer.MAX_VALUE），因为 FileChannel 的 map 方法中 size 参数会有大小限制，源码中发现该参数值大于Integer.MAX_VALUE 时会直接抛出IllegalArgumentException("Size exceeds Integer.MAX_VALUE") 异常，所以对于特别大的文件其依然不适合。本质上是由于 java.nio..
android 文件句柄,MappedByteBuffer文件句柄释放问题(示例代码)
weixin_39763683的博客
05-29 457
问题描述现在很多java代码中都会用到内存映射的概念。文件映射的方法比输入输出流的方式快很多。但是在使用的过程中，正常地调用了FileChannel的force和close方法后，重命名文件或删除文件还会失败。主要原因还是文件的句柄没有释放。导致的问题分析及解决文件句柄如果被持有，就相当于jvm虚拟机中有一个指向文件的指针，所以重命名文件和删除文件都会导致失败。而MappedByteBuffer没...
JAVA NIO——MappedByteBuffer 分割拷贝超大文件
sdylag的专栏
10-01 1372
JAVA NIO——MappedByteBuffer 分割拷贝超大文件   /** * NIO —— MappedByteBuffer 分割拷贝大文件 * @throws FileNotFoundException * @throws IOException * @author sdylag * time: 2011-10-01 1:49 * ...
深入理解 Java NIO：ByteBuffer和MappedByteBuffer的特性与使用
最新发布
RemainderTime
07-25 1686
在深入学习 RocketMQ 这款高性能消息队列框架的源码时，发现ByteBuffer和在 RocketMQ 这样的高性能消息队列框架中扮演了关键角色，其核心部分广泛使用了这两种缓冲区，以实现高效的数据存储和异步刷盘操作。接下来就深入学习ByteBuffer 和 MappedByteBuffer 的工作原理、优势特点，以便能运用到实际业务中。
高效的文件拷贝之MappedByteBuffer
一只没有脚的鸟
02-24 1468
我们经常对文件进行操作，但是效率却一般。最近在研究MappedByteBuffer的用法，下面是例子： void MappedByteBufferTest() { try { RandomAccessFile source = new RandomAccessFile("F:\\cmb-flume\\flume\\logs\\relog\\paas0.log", "r")
MappedByteBuffer介绍及详细解读（java操作大文件多种方法）
m0_57640408的博客
10-23 1万+
MappedByteBuffer是ByteBuffer的子类。 以前我们操作大文件都是用BufferedInputStream、BufferedOutputStream等带缓冲的IO流处理。 现在我们讲一下java nio中一种基于MappedByteBuffer操作大文件的方式，读写性能极高。 在讲之前我们先了解一点关于内存的知识： 物理内存: 就是内存条的内存空间。 虛拟内存: 是计算机系统内存管理的一种技术。它使得应用程序认为它拥有连续的可用的内存(一个连续完整的地址空间)，而实际上，它通常是被.
[java][nio]MappedByteBuffer修改大文件
philipho123的专栏
04-18 147
[code="java"] import java.io.FileNotFoundException; import java.io.IOException; import java.io.RandomAccessFile; import java.nio.MappedByteBuffer; import java.nio.channels.FileChannel; /** *...
SocketChannel用MappedByteBuffer实现按文件指定位置发送文件写入文件
07-13
你可以使用`SocketChannel`和`MappedByteBuffer`来实现按照文件指定位置发送文件和写入文件。下面是一个示例代码： ```java import java.io.IOException; import java.io.RandomAccessFile; import java.net....
java如何实现是用mappedbytebuffer 随机读取文件
07-12
在Java中，可以使用 `MappedByteBuffer` 来实现随机读取文件。`MappedByteBuffer` 是 `ByteBuffer` 的子类，它通过将文件映射到内存中的字节缓冲区来实现对文件的随机访问。 下面是一个使用 `MappedByteBuffer` ...
基于MappedByteBuffer & FileChannel 的大文件读取工具
scanklm的专栏
06-20 680
import java.io.FileInputStream; import java.io.IOException; import java.nio.MappedByteBuffer; import java.nio.channels.FileChannel; /** * 大文件读取工具 **/ public class BigFileReader { private MappedB...
MappedByteBuffer
u013733399的博客
04-09 482
MappedByteBuffer是ByteBuffer的子类，和ByteBuffer的使用方式类似，一般用于加速文件和内存之间的IO传输的速度，原理可理解为是给磁盘文件和app应用内存之间建立了一条快速通道，而这条快速通道就是MappedByteBuffer，通过对它的读或写就相当于对文件的读或写，不需要再经过用户态和内核态的数据来回拷贝。下面示例通过socket的传输，把client的传输的结果写到磁盘mmap.txt中。
Java ByteBuffer(拆包解析)网络编程用法实例解析
zhiqingcn的专栏
07-24 299
例如，100个字节是一个数据体，可是目前缓冲区内包含了120个字节，这就是说缓冲区包含了一条数据，但是还有没有传递完的字节流。如图所示，网络的流一直在传递，我们收到也许是完成的数据流，也可能是没有传递完的。做tcp网络编程，要解析一批批的数据，可是数据是通过Socket连接的InputStream一次次读取的，读取到的不是需要转换的对象，而是要直接根据字节流和协议来生成自己的数据对象。代码只是一个参考，主要讲解如何分解缓冲区，和取得缓冲区的一条数据，然后清除该数据原来站的空间。那么解析方法是如何做的？
ByteBuffer使用
彻底拆分，一切可控！
03-30 979
在我们平时的程序开发过程中，当用到了byte[]之间的操作的时候我们最好是使用ByteBuffer，它为我们节省很多的空间，如下的实例，我需要把一个含有多个byte[]的类的属性都合并起来，此类如下所示：public class MessageEntity { public MessageEntity() { super(); } public MessageEntity(byte...
深入浅出MappedByteBuffer
zhiyikeji的博客
12-05 648
java io操作中通常采用BufferedReader，BufferedInputStream等带缓冲的IO类处理大文件，不过java nio中引入了一种基于MappedByteBuffer操作大文件的方式，其读写性能极高，本文会介绍其性能如此高的内部实现原理。在深入MappedByteBuffer之前，先看看计算机内存管理的一些知识：那么问题来了，为什么会有虚拟内存和物理内存的区别？什么是虚拟内存地址和物理内存地址？计算机会对虚拟内存地址空间（32位为4G）进行分页产生页（page），对物理内存地址空间
论最强IO：MappedByteBuffer VS FileChannel
热门推荐
布道
06-13 2万+
最近一直在研究MQ，开源社区中有很多高性能MQ：kafka、RocketMQ、ActiveMQ，抛开网络传输方式、数据结构设计、文件存储方式...等因素。Java 在 JDK 1.4 引入了 ByteBuffer 等 NIO 相关的类，使得 Java 程序员可以抛弃基于 Stream ，从而使用基于 Block 的方式读写文件。这些MQ有一个共同的特点就是：引入了 IO 性能优化之王MappedB...
java nio 之MappedByteBuffer
fanlv34的专栏
01-29 300
其实掌握MappedByteBuffer并不难，只要记住“三方三法三特性”（我自己总结的，呵呵~~不要扔鸡蛋哦。。。）这句话就可以轻松搞定！MappedByteBuffer 只是一种特殊的 ByteBuffer ，即是ByteBuffer的子类。 MappedByteBuffer 将文件直接映射到内存（这里的内存指的是虚拟内存，并不是物理内存，后面说证明这一点）。通常，可以映射整个文件，如果文件比
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值