【面试】要读的数据太大，超出内存怎么办

最新推荐文章于 2024-03-29 14:10:20 发布
最新推荐文章于 2024-03-29 14:10:20 发布
阅读量583 收藏 1
点赞数
分类专栏： 搬砖 文章标签： 数据太大超出内存
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010659877/article/details/110209610
版权

当你too young 头naive，如今有了解决方案

方案一、内存共享文件MappedByteBuffer

  1. 创建文件
  2. 获得MappedByteBuffer
  3. 这样操作文件数据就像操作内存数据一样简单

附：原理和使用方法

方案二、随机流RandomAccessFile

随机流（RandomAccessFile）不属于IO流，支持对文件的读取和写入随机访问。把随机访问的文件对象看作存储在文件系统中的一个大型 byte 数组后通过指向该 byte 数组的光标或索引（即：文件指针 FilePointer）在该数组任意位置读取或写入任意数据。
附：原理和使用方法

一只积累鸭
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
读取超过内存大小的文件的解决办法
weixin_33743880的博客
04-03 3165
问题 现在考虑有一个jsonline 格式的文件file.txt 大小约为10K，之前处理文件的代码如下所示 def get_lines(): l = [] with open('file.txt', 'rb') as f: for eachline in f: l.append(eachline) return l if __n...
面试题：海量数据处理问题汇总
05-29 575
如何从大量的文件 中找出相同的单词？ 题目 给定 a、b 两个文件，各存放 50 亿个 单词，每个单词各占 16B，内存限制是 4G。请找出 a、b 两个文件共同的 单词。 思路 每个 URL 占 16B，那么 50 亿个 单词占用的空间大小约为 80GB。 由于内存大小只有 4G，因此，我们不可能一次性把所有 单词 加载到内存中处理。 对于这种类型的题目，一般采用分治策略，即：把一个文件中的 单词按照某个特征划分为多个小文件，使得每个小文件大小不超过 4G，这样就可以把这个小文件读到内存中进行
java 异常 溢出_Java常见内存溢出异常分析(OutOfMemoryError)
weixin_31861647的博客
02-20 418
1.背景知识1).JVM体系结构2).JVM运行时数据区JVM内存结构的相关可以参考：2.堆溢出(OutOfMemoryError:java heap space)堆(Heap)是Java存放对象实例的地方。堆溢出可以分为以下两种情况，这两种情况都会抛出OutOfMemoryError:java heap space异常：1)内存泄漏内存泄漏是指对象实例在新建和使用完毕后，仍然被引用，没能被垃圾回...
项目问题：解决后端大数据问题
ryyzxf的博客
12-05 571
const request = axios.create({ baseURL: 'http://ttapi.research.itcast.cn/app/',//基础路径 transformResponse: [function (data) { // 后端返回的数据可能不是JSON 格式字符串 // 如果不是的话，那么 JSONbig.parse 调用就会报错 // 所以我们使用 try-catch 来捕捉异常， 处理异常的发生 try {
如何在 Java 中读取处理超过内存大小的文件
最新发布
程序猿DD
03-29 1206
读取文件内容，然后进行处理，在Java中我们通常利用 Files 类中的方法，将可以文件内容加载到内存，并流顺利地进行处理。但是，在一些场景下，我们需要处理的文件可能比我们机器所拥有的内存要大。此时，我们则需要采用另一种策略：部分读取它，并具有其他结构来仅编译所需的数据。接下来，我们就来说说这一场景：当遇到大文件，无法一次载入内存时候要如何处理。模拟场景假设，当前我们需要开发一个程序来分析来自服务...
大文件操作及处理（超过500M）
10-29 1394
大文件大内存操作及处理（超过500M）
[ 数据通信面试篇 ] 数通面试题大集合(详解)
10-26
[ 数据通信面试篇 ] 数通面试题大集合(详解)，看完直怼面试官（合集）.rar 包含五个文档，文档质量可以去看我的文章： [ 数据通信面试篇 ] 数通面试题大集合(详解)，看完直怼面试官（一）到（五）
常见数据结构与算法笔试面试题大集合
09-12
这份“常见数据结构与算法笔试面试题大集合”涵盖了这一领域的核心概念，旨在帮助求职者更好地准备相关考试和面试。 1. **数组**：数组是最基础的数据结构，它提供了一种在内存中存储和访问固定数量元素的方式。...
计算机数据结构笔试＋面试高频考题1800道
12-29
计算机数据结构笔试＋面试高频考题1800道计算机数据结构笔试＋面试高频考题1800道计算机数据结构笔试＋面试高频考题1800道计算机数据结构笔试＋面试高频考题1800道计算机数据结构笔试＋面试高频考题1800道计算机数据...
大厂数据仓库面试题.docx
12-18
* Secondary NameNode的作用：Secondary NameNode可以加载编辑日志和镜像文件到内存，并合并生成新的镜像文件fsimage.chkpoint，然后将其拷贝到NameNode上，以便在NameNode元数据丢失时恢复部分元数据信息。...
HCIE-DC-数据中心面试宝典
09-24
HCIE-DC-数据中心面试宝典 HCIE-DC-数据中心面试宝典 HCIE-DC-数据中心面试宝典
内存溢出原因及解决方案
djh10000的博客
05-23 229
参考地址：http://baike.baidu.com/view/79183.htm 内存溢出是指应用系统中存在无法回收的内存或使用的内存过多，最终使得程序运行要用到的内存大于虚拟机能提供的最大内存。 引起内存溢出的原因有很多种，常见的有以下几种：　　1.内存中加载的数据量过于庞大，如一次从数据库取出过多数据；　　2.集合类中有对对象的引用，使用完后未清空，...
使用有限内存处理，读取超大文本文件
海边夕阳
08-07 1466
现有一个每行固定格式的.txt文本，我需要每行进行解析、处理并导入数据库。 我采用的是readline的方式处理。 当行数不多时，还可以。 当行数多时，内存占用大，效率低。 请问如何处理更合理？ 针对所有文件(文本，非文本)      File file = new File("filename"); BufferedInputStream fis = new BufferedInputStr...
解决java读取大文件内存溢出的问题
liaonanfeng88的CSDN博客
12-20 4502
1. 传统方式：在内存中读取文件内容 读取文件行的标准方式是在内存中读取，Guava 和Apache Commons IO都提供了如下所示快速读取文件行的方法： ? 1 2 Files.readLines(new File(path), Charsets.UTF_8); FileUtils.readLines(new File(path)); ...
文件太大,内存不足时的读取问题
weixin_30696427的博客
10-09 1001
# 现在考虑有一个 jsonline 格式的文件 file.txt 大小约为 10K，之前处理文件的代码如下所示： 1. def get_lines(): 2. 　　l = [] 3. 　　with open(‘file.txt’，‘rb’) as f: 4. 　　　　for eachline in f: 5. 　　　　　　l.append(eachline) 6. 　　ret...
python读取数据库数据内存过大怎么办_完美解决因数据库一次查询数据量过大导致的内存溢出问题...
weixin_39956443的博客
12-19 2192
完美解决因数据库一次查询数据量过大导致的内存溢出问题刚开始接触项目的实习生，积累经验，欢迎交流之前做项目，遇到过一次查询数据量过大而导致的内存溢出问题，找了很多办法一直未能实际解决问题，今天又遇到了，经过前辈的指导，终于解决了问题！！不过此方法只在DBug启动下有效以上这篇完美解决因数据库一次查询数据量过大导致的内存溢出问题就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我...
Java高级面试技巧：内存管理与数据结构详解
内存分配策略影响性能，如年轻代过大可能导致老年代过小，而频繁GC，反之亦然。JVM默认的年轻代与老年代大小比例为1:2，可通过调整优化以适应应用需求。 其次，面试者需掌握数据结构和集合框架。HashMap和HashTable...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值