作者:不清不慎,目前在杭州蘑菇街公司任职,Java大数据开发工程师一枚,热爱研究开源技术! 架构师社区合伙人!
java中的文件拷贝主要有三种方式来实现。
一、使用输入输出流
可以使用java.io包下的FileInputStream从源文件中读取然后为目标文件构建一个FileOutputStream输出流来实现。具体代码实现如下:
public static void copyFileByStream(File source, File dest) throws
IOException {
try (InputStream is = new FileInputStream(source);
OutputStream os = new FileOutputStream(dest);){
byte[] buffer = new byte[1024];
int length;
while ((length = is.read(buffer)) > 0) {
os.write(buffer, 0, length);
}
}
}
当我们使用输入输出流进行读写时,实际上是进行了多次上下文切换,比如应用读取数据时,先 在内核态将数据从磁盘读取到内核缓存,再切换到用户态将数据从内核缓存读取到用户缓存。
二、TransferTo与TransferFrom实现
java.nio 类库提供的 transferTo 或 transferFrom 方法实现。
public static void copyFileByChannel(File source, File dest) throws
IOException {
try (FileChannel sourceChannel = new FileInputStream(source)
.getChannel();
FileChannel targetChannel = new FileOutputStream(dest).getChannel
();){
for (long count = sourceChannel.size() ;count>0 ;) {
long transferred = sourceChannel.transferTo(
sourceChannel.position(), count, targetChannel);
sourceChannel...
count -= transferred;
}
}
}
而基于 NIO transferTo 的实现方式,在 Linux 和 Unix 上,则会使用到零拷贝技术,数据传输 并不需要用户态参与,省去了上下文切换的开销和不必要的内存拷贝,进而可能提高应用拷贝性 能。注意,transferTo 不仅仅是可以用在文件拷贝中,与其类似的,例如读取磁盘文件,然后 进行 Socket 发送,同样可以享受这种机制带来的性能和扩展性提高。
三、使用传统的Files.copy实现
其原理是使用了用户态空间的拷贝。
对于 Copy 的效率,这个其实与操作系统和配置等情况相关,总体上来说,NIO transferTo/From 的方式可能更快,因为它更能利用现代操作系统底层机制,避免不必要拷贝 和上下文切换。
四、Buffer的使用
Buffer 有几个基本属性:
capcity,它反映这个 Buffer 到底有多大,也就是数组的长度。
position,要操作的数据起始位置。
limit,相当于操作的限额。在读取或者写入时,limit 的意义很明显是不一样的。比如,读取 操作时,很可能将 limit 设置到所容纳数据的上限;而在写入时,则会设置容量或容量以下的 可写限度。
mark,记录上一次 postion 的位置,默认是 0,算是一个便利性的考虑,往往不是必须的
Buffer 的基本操作:
我们创建了一个 ByteBuffer,准备放入数据,capcity 当然就是缓冲区大小,而 position 就 是 0,limit 默认就是 capcity 的大小。
当我们写入几个字节的数据时,position 就会跟着水涨船高,但是它不可能超过 limit 的大 小。
如果我们想把前面写入的数据读出来,需要调用 flip 方法,将 position 设置为 0,limit 设 置为以前的 position 那里。
如果还想从头再读一遍,可以调用 rewind,让 limit 不变,position 再次设置为 0。
两种特别的 Buffer
Direct Buffer:如果我们看 Buffer 的方法定义,你会发现它定义了 isDirect() 方法,返回当 前 Buffer 是否是 Direct 类型。这是因为 Java 提供了堆内和堆外(Direct)Buffer,我们可 以以它的 allocate 或者 allocateDirect 方法直接创建。
MappedByteBuffer:它将文件按照指定大小直接映射为内存区域,当程序访问这个内存区 域时将直接操作这块儿文件数据,省去了将数据从内核空间向用户空间传输的损耗。我们可 以使用FileChannel.map创建 MappedByteBuffer,它本质上也是种 Direct Buffer。
在实际使用中,Java 会尽量对 Direct Buffer 仅做本地 IO 操作,对于很多大数据量的 IO 密集 操作,可能会带来非常大的性能优势,因为:
Direct Buffer 生命周期内内存地址都不会再发生更改,进而内核可以安全地对其进行访问, 很多 IO 操作会很高效。
减少了堆内对象存储的可能额外维护工作,所以访问效率可能有所提高。
但是请注意,Direct Buffer 创建和销毁过程中,都会比一般的堆内 Buffer 增加部分开销,所以 通常都建议用于长期使用、数据较大的场景。使用 Direct Buffer,我们需要清楚它对内存和 JVM 参数的影响。首先,因为它不在堆上,所以 Xmx 之类参数,其实并不能影响 Direct Buffer 等堆外成员所使用的内存额度,我们可以使用下 面参数设置大小:
-XX:MaxDirectMemorySize=512M
长按订阅更多精彩▼
如有收获,点个在看,诚挚感谢