java nio原理和它的优点

    要想讲清楚nio的原理和它的优点得先清楚Java应用程序的文件读写原理和虚拟内存的原理。Java文件读取原理可参见如下图:


当应用程序需要读取文件的时候,内核首先通过DMA技术将文件内容从磁盘读入内核中的buffer,然后Java应用进程再从内核的buffer将数据读取到应用程序的buffer。

为了提升I/O效率和处理能力,操作系统采用虚拟内存的机制。虚拟内存也就是我们常说的交换内存,它实际上是硬盘上的文件,虚拟内存有两个作用:

1. 不同的虚拟内存可以映射到相同的物理内存,根据这个原理,可以简化文件读取流程,提升读取效率,效果如下图所示:


通过使用虚拟内存技术,将应用程序的buffer和内核的buffer都作为虚拟内存,并且两块不同的虚拟内存指向相同的物理内存,内核通过DMA将数据读取到buffer的时候,应用程序就可以直接使用这些数据了。

2. 通过使用虚拟内存, 应用程序可以使用比物理内存所能容纳得大得多的内存,并且也能够提高I/O效率。当物理内存中的数据不使用的时候,可以将物理内存中的数据放到虚拟内存中,操作系统就可以腾出物理内存空间存储新的要处理的数据。当需要使用虚拟内存中的数据时,再可以把虚拟内存中的数据加载到物理内存中。因此物理内存可以看做时虚拟内存中存放数据的cache。而上面所述的cache虚拟内存数据的过程,对应用程序来说时透明的,它可以像处理物理内存数据一样处理虚拟内存中的数据。


Java nio通过使用虚拟内存技术将文件系统中的文件页和应用程序空间直接对应起来,使用nio后,文件的读写操作都是在虚拟内存中实现。这样在操作文件的时候,好像文件已经在内存中一样。采用了虚拟内存技术,使用Java nio方式可以很快的读取很大的文件。

Java nio打开文件可指定映射内容在所要映射的文件所在位置。使用Java nio打开文件源码:

import java.io.RandomAccessFile;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;
 
public class MemoryMappedFileExample
{
    static int length = 0x8FFFFFF; // 128 Mb
 
    public static void main(String[] args) throws Exception
    {
        MappedByteBuffer out = new RandomAccessFile("howtodoinjava.dat", "rw")
                                    .getChannel().map(FileChannel.MapMode.READ_WRITE, 0, length);
        for (int i = 0; i < length; i++)
        {
            out.put((byte) 'x');
        }
        System.out.println("Finished writing");
    }
}



使用Java nio读取文件内容源码:

import java.io.File;
import java.io.RandomAccessFile;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;
 
public class MemoryMappedFileReadExample
{
    private static String bigExcelFile = "bigFile.xls";
 
    public static void main(String[] args) throws Exception
    {
        //Create file object
        File file = new File(bigExcelFile);
         
        //Get file channel in readonly mode
        FileChannel fileChannel = new RandomAccessFile(file, "r").getChannel();
         
        //Get direct byte buffer access using channel.map() operation
        MappedByteBuffer buffer = fileChannel.map(FileChannel.MapMode.READ_ONLY, 0, fileChannel.size());
         
        // the buffer now reads the file as if it were loaded in memory.
        System.out.println(buffer.isLoaded());  //prints false
        System.out.println(buffer.capacity());  //Get the size based on content size of file
         
        //You can read the file from this buffer the way you like.
        for (int i = 0; i < buffer.limit(); i++)
        {
            System.out.print((char) buffer.get()); //Print the content of file
        }
    }
}


使用Java nio写入文件新的内容:

import java.io.File;
import java.io.RandomAccessFile;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;
 
public class MemoryMappedFileWriteExample {
    private static String bigExcelFile = "test.txt";
 
    public static void main(String[] args) throws Exception {
        // Create file object
        File file = new File(bigExcelFile);
         
        //Delete the file; we will create a new file
        file.delete();
 
        // Get file channel in readonly mode
        FileChannel fileChannel = new RandomAccessFile(file, "rw").getChannel();
 
        // Get direct byte buffer access using channel.map() operation
        MappedByteBuffer buffer = fileChannel.map(FileChannel.MapMode.READ_WRITE, 0, 4096 * 8 * 8);
 
        //Write the content using put methods
        buffer.put("howtodoinjava.com".getBytes());
    }
}


可见Java nio的优势为:

1. 不需要使用read()或者write()操作就可以处理文件内容了

2. 修改文件后,修改自动flush到文件

3. nio方式能很快处理大文件和处理效率很快


参考文章:

http://howtodoinjava.com/2014/12/10/how-java-io-works-internally-at-lower-level/

http://howtodoinjava.com/2015/01/16/java-nio-2-0-memory-mapped-files-mappedbytebuffer-tutorial/







  • 1
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
### 回答1: Java NIO是一种用于高效处理I/O操作的Java API。其原理是在Java中使用了一些新的I/O概念和类,包括缓冲区(Buffer)、通道(Channel)、选择器(Selector)等。 缓冲区是Java NIO中重要的概念之一,它是一个可以被读写的内存块,可以作为I/O操作的输入输出缓存。在Java NIO中,所有的数据读取和写入都必须通过缓冲区来完成。缓冲区分为直接缓冲区和非直接缓冲区两种。直接缓冲区是通过调用操作系统的API直接分配的内存块,可以显著提高I/O操作的性能;非直接缓冲区则是通过Java堆内存分配的,性能略逊于直接缓冲区。 通道是Java NIO中另一个重要的概念,它是一个用于传输数据的实体,可以读取和写入数据。通道提供了比Java传统的I/O流更高效的数据传输方式,因为它可以在缓冲区和底层操作系统之间建立直接的连接,避免了I/O流中的中间层。Java NIO中提供了多种类型的通道,包括文件通道、套接字通道等。 选择器是Java NIO中另一个重要的概念,它可以检测一个或多个通道的状态,并且可以在通道准备好进行读写操作时被通知。选择器提供了一种高效的方式来处理多个通道的I/O操作,可以避免线程阻塞和不必要的轮询。 综上所述,Java NIO通过使用缓冲区、通道和选择器等新的概念和类,可以提供更高效的I/O操作方式,可以在处理高并发和大数据量的情况下发挥出更好的性能。 ### 回答2: Java NIO(Non-blocking I/O) 是Java提供的一种新的I/O处理方式。相比于传统的I/O操作,Java NIO使用了非阻塞的方式来处理输入和输出。以下是Java NIO的主要原理Java NIO主要包含以下几个核心组件: 1. Channel(通道):是用于读写数据的对象,可以理解为指向实际数据源的双向管道。不同类型的数据可以通过不同类型的通道进行传输。 2. Buffer(缓冲区):是一个用于存储数据的对象,实际上就是一个数组。数据通过缓冲区在通道和应用程序之间传输。 3. Selector(选择器):是一个可以监听多个通道事件的对象。可以通过Selector注册通道,并监听通道上的不同事件,如连接、接收和发送数据等。 Java NIO的工作流程如下: 1. 创建通道:使用Channel类创建需要的通道,如FileChannel、SocketChannel、ServerSocketChannel等。 2. 创建缓冲区:使用Buffer类创建需要的缓冲区,如ByteBuffer、CharBuffer等。 3. 将数据写入缓冲区:通过调用缓冲区的put()方法将数据写入缓冲区。 4. 切换缓冲区为读模式:通过调用缓冲区的flip()方法切换缓冲区为读模式。 5. 从缓冲区读取数据:通过调用缓冲区的get()方法从缓冲区读取数据。 6. 注册通道,并监听感兴趣的事件:通过Selector对象的register()方法注册通道,并指定感兴趣的事件,如连接就绪、接收就绪、写入就绪等。 7. 轮询选择器:通过Selector对象的select()方法进行轮询,查看是否有感兴趣的事件准备就绪。 8. 处理选择器就绪的事件:通过遍历SelectionKey集合,处理选择器返回的已就绪的事件。 9. 执行对应的操作:根据不同的事件类型,执行相应的操作,如连接、接收和发送数据等。 总结来说,Java NIO通过非阻塞的方式处理I/O操作,通过通道、缓冲区和选择器来实现高效的IO处理。它具有更高的处理能力、更低的内存消耗和更少的线程占用,适用于高并发、大数据量的应用场景。 ### 回答3: Java NIO(New I/O)是Java编程语言的一种扩展,提供了可以进行非阻塞I/O操作的功能。它是为了解决传统的阻塞I/O模型在高并发和大规模数据处理场景下性能不佳的问题而引入的。 Java NIO的核心概念是通道(Channel)和缓冲区(Buffer)。通道代表了一个可以进行读写操作的实体,提供了非阻塞的I/O操作。缓冲区是一个内存块,用于临时存储数据,供通道读写数据。 在Java NIO中,通过Selector可以同时监控多个通道的输入/输出状态。Selector会不断地轮询注册在其上的通道,如果某个通道发生了读或写事件,Selector就会将该通道加入到就绪集合中。这样,我们就可以通过Selector轮询检查哪些通道已经准备好进行读写,从而避免了传统阻塞I/O中每个连接需要一个线程等待数据的情况。 在Java NIO中,数据通过缓冲区进行传输。读取数据时,可以从通道读取数据到缓冲区中,然后从缓冲区中读取数据;写入数据时,可以将数据写入缓冲区,然后从缓冲区写入通道。通过使用缓冲区,可以减少实际的I/O操作次数,提高效率。 Java NIO还提供了FileChannel用于对文件进行I/O操作,以及SocketChannel和ServerSocketChannel用于对网络Socket进行I/O操作。此外,Java NIO还支持内存映射文件(Memory-mapped files),可以将文件直接映射到内存中,避免了传统文件I/O的开销。 总之,Java NIO通过通道、缓冲区和Selector等实现了高效的非阻塞I/O操作。相对于传统的阻塞I/O模型,可有效提高系统的并发处理能力和性能。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值