RandomAccessFile && MappedByteBuffer读取大文件

最新推荐文章于 2022-12-01 12:49:04 发布
最新推荐文章于 2022-12-01 12:49:04 发布
阅读量927 收藏
点赞数
分类专栏： 菜鸟java入门
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tj666666/article/details/78386042
版权
比较MappedByteBuffer搭配RandomAccessFile, BufferedReader & BufferedWriter读取大文件性能

　　处于对java.nio.concurrent包下的MappedByteBuffer使用直接内存,通过内存映射的方式读写文件的好奇,这里测试了这些类的使用和效率。
　　
　　对于小文件(文件大小在256M以内,大小size可以用int变量表示), 使用MappedByteBuffer进行读写2M大小的文件只需要24ms, 而使用BufferReader, BufferWriter则需要64ms。

　　之后测试了对于大文件(文件大小大于256M, 大小size需要用long变量表示)逆序输出(单线程)情况下的效用, 使用MappedByteBuffer加ByteArrayOutputStream逆序输出(每一行仍正序输出)一个2M的文件, 用时达到了665ms

TANGJIALEO
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
随机访问文件RandomAccessFile 与 内存映射文件MappedByteBuffer
流浪的虾壳
05-03 3191
一.RandomAccessFile        RandomAccessFile是用来访问那些保存数据记录的文件的，你就可以用seek( )方法来访问记录，并进行读写了。这些记录的大小不必相同；但是其大小和位置必须是可知的。但是该类仅限于操作文件。         RandomAccessFile不属于InputStream和OutputStream类系的。实际上，除了实现
RandomAcessFile、MappedByteBuffer和缓冲读/写文件
李燕军的专栏
06-20 3714
项目需要进行大文件的读写，调查测试的结果使我决定使用MappedByteBuffer及相关类进行文件的操作，效果不是一般的高。网上参考资源很多，如下两篇非常不错：1、花1K内存实现高效I/O的RandomAccessFile类2、Java中Stream和Memory-mapped File的I/O性能对比小结：1、RandomAccessFile本身不带缓冲读写，和FileIn
RandomAccessFile、FileChannel和MappedByteBuffer
海为龙世界，云是鹤家乡
06-28 2410
一、RandomAccessFile 简单示例： import java.io.IOException; import java.io.RandomAccessFile; /** * @author debo * @date 2020-06-27 */ public class RandomAccessFileTest { public static void main(String[] args) throws IOException { RandomAccessFile
Java RandomAccessFile与MappedByteBuffer
Dream It Possible
06-12 6049
RandomAccessFileRandomAccessFile是用来访问那些保存数据记录的文件的，你就可以用seek( )方法来访问记录，并进行读写了。这些记录的大小不必相同；但是其大小和位置必须是可知的。但是该类仅限于操作文件。RandomAccessFile不属于InputStream和OutputStream类系的。实际上，除了实现DataInput和DataOutput接口之外(DataI
RandomAccessFile、FileChannel、MappedByteBuffer读写文件
天元喜羊羊的博客
01-27 5955
代码： package com.nio; import java.io.Closeable; import java.io.FileNotFoundException; import java.io.IOException; import java.io.RandomAccessFile; import java.nio.CharBuffer; import java.nio.MappedBy
大文件RandomAccessFile类来分片传输
qq_51705526的博客
06-30 960
大文件单线程直接传输 RandomAccessFile实现大文件分片传输 文件夹情况: 断点续传原理就是:Java-Io-RandomAccessFile(任意位置读写数据)_胡安民的博客-CSDN博客
java读取大文件简单实例
09-04
下面我们将深入探讨如何使用内存映射文件来读取大文件，并提供一个简单的实例。 1. **内存映射文件的工作原理** 内存映射文件是一种将文件直接映射到进程的虚拟地址空间的方法。这意味着文件的数据可以直接像访问...
java 读取文件方法的总结
08-29
Java NIO（非阻塞I/O）提供了一种更高效的方式读取文件，特别是对于大文件和并发操作。`FileChannel`和`MappedByteBuffer`是NIO中读取文件的核心工具。例如： ```java FileChannel channel = FileChannel.open...
读取Java文件到byte数组的三种方法(总结)
09-01
这种方法的优点是性能优秀，尤其对于大文件，因为数据直接在物理内存和磁盘之间交换，无需经过Java虚拟机。 ### 方法三：使用`RandomAccessFile` `RandomAccessFile`提供了对文件的随机访问能力，可以用来读取文件...
java读取大文件
06-05
为了有效地读取大文件，可以使用缓冲区（Buffer）和内存映射文件（MappedByteBuffer）技术。下面将详细解释如何使用这些技术以及代码中的关键部分。 1. **缓冲区（Buffer）**： Java中的缓冲区是用于提高数据读写...
有效率的读取大文件(2G)
02-10
在处理大数据时，高效地读取大文件是至关重要的，特别是当文件的尺寸达到或超过2GB这样的大容量。在本篇文章中，我们将探讨几种针对大文件读取的有效策略，以确保程序性能不受影响，同时兼顾内存管理和资源优化。...
【Java难点攻克】「大文件处理系列」让我们一起去挑战一下如何读取一个较大或者超大的数据文件
世界上并没有完美的程序，但是我们并不因此而沮丧，因为写程序就是一个不断追求完美的过程。
12-01 1692
Java在JDK 1.4引入了ByteBuffer等NIO相关的类，使得 Java 程序员可以抛弃基于 Stream ，从而使用基于 Block 的方式读写文件，java io操作中通常采用BufferedReader，BufferedInputStream等带缓冲的IO类处理大文件，不过java nio中引入了一种基于MappedByteBuffer操作大文件的方式，其读写性能极高，本文会介绍其性能如此高的内部实现原理，分析一下到底是 FileChannel 快还是 MappedByteBuffer 块。
java filechannel 性能_FileChannel 和 MappedByteBuffer 实现上有什么不同？为什么性能差这么多？...
weixin_42168555的博客
02-24 373
环境mac 10.142.2 GHz Intel Core i7APPLE SSD AP0512M (底下有小伙伴测出相反的结果，跟硬盘有关系)问题描述看RocketMQ源码的时候看到数据写到MappedFile有两种方式：先写入 writeBuffer， 再将writeBuffer 写入到 FileChannel 再调用 force()刷盘；数据直接写入MappedByteBuffer， 调用f...
通过扩展RandomAccessFile类使之具备Buffer改善I/O性能
一知半解
04-28 96
转自http://www.bianceng.cn/Programming/Java/201106/27186.htm   过程有点长。 略。。。。。。。。。。。。。。   与JDK1.4新类MappedByteBuffer+RandomAccessFile的对比？ JDK1.4提供了NIO类 ，其中MappedByteBuffer类用于映射缓冲，也可以映射 随机文件访问，可见JA...
MappedByteBuffer介绍及详细解读（java操作大文件多种方法）
热门推荐
m0_57640408的博客
10-23 1万+
MappedByteBuffer是ByteBuffer的子类。 以前我们操作大文件都是用BufferedInputStream、BufferedOutputStream等带缓冲的IO流处理。 现在我们讲一下java nio中一种基于MappedByteBuffer操作大文件的方式，读写性能极高。 在讲之前我们先了解一点关于内存的知识： 物理内存: 就是内存条的内存空间。 虛拟内存: 是计算机系统内存管理的一种技术。它使得应用程序认为它拥有连续的可用的内存(一个连续完整的地址空间)，而实际上，它通常是被.
java:RandomAccessFile随机读取文件内容
weixin_34161029的博客
07-02 136
RandomAccessFile是用来访问那些保存数据记录的文件的，你就可以用seek( )方法来访问记录，并进行读写了。这些记录的大小不必相同；但是其大小和位置必须是可知的。但是该类仅限于操作文件。RandomAccessFile不属于InputStream和OutputStream类系的。   public static void main(String args[]) throws Exc...
大文件自定义随机读、替换（优化版RandomAccessFile）解决方案
torres6的博客
04-23 1127
最近接触了一个需要对大物理文件重复读、写的需求，第一反应是找到RandomAccessFile类作为解决方案，随机访问的核心是定位的游标，但经过实际使用发现其读性能较差。通过分析决定使用RandomAccessFile结合BufferedReader的方式来解决性能问题。本方案核心接口如下：replaceBulk（替换指定位置后的指定内容）、replaceOneLine（替换指定行）、insertBulk（在指定内容后插入内容）。具体核心代码在此处nearUtils: 相关工具，已有快速随机...
求一组数字组成的最大整数三种解法
tj666666的博客
12-15 3976
整理一下网上关于这道题和自己关于这道题的解法方法一: 利用a+b和b+a进行比较选择其中数值较大的组合方式public class Solution { public void maxValueNum(int[] array) { int len = array.length; String maxValueStr = ""; for(int i
java如何实现是用mappedbytebuffer 随机读取文件
最新发布
07-12
在Java中，可以使用 `MappedByteBuffer` 来实现随机读取文件。`MappedByteBuffer` 是 `ByteBuffer` 的子类，它通过将文件映射到内存中的字节缓冲区来实现对文件的随机访问。 下面是一个使用 `MappedByteBuffer` 随机读取文件的示例代码： ```java import java.io.RandomAccessFile; import java.nio.MappedByteBuffer; import java.nio.channels.FileChannel; public class FileRandomAccess { public static void main(String[] args) throws Exception { // 打开文件 RandomAccessFile file = new RandomAccessFile("path/to/file", "r"); // 获取文件通道 FileChannel channel = file.getChannel(); // 将文件映射到内存中 MappedByteBuffer buffer = channel.map(FileChannel.MapMode.READ_ONLY, 0, channel.size()); // 随机读取文件内容 byte[] data = new byte[buffer.remaining()]; buffer.get(data); // 关闭文件通道和文件 channel.close(); file.close(); // 处理读取到的数据 System.out.println(new String(data)); } } ``` 上述代码中，首先通过 `RandomAccessFile` 打开文件，并获取其通道。然后使用 `FileChannel` 的 `map` 方法将文件映射到内存中的 `MappedByteBuffer` 对象。通过 `MappedByteBuffer` 对象可以直接读取文件内容，而无需进行显式的读取操作。最后，记得关闭文件通道和文件。 请注意替换示例代码中的 `"path/to/file"` 为实际的文件路径。另外，为了简化示例代码，这里将整个文件映射到内存中，你也可以根据需要仅映射文件的部分内容。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值