只有一台普通电脑, 用python如何读取10G的超大文件?

已于 2022-01-19 11:20:19 修改
阅读量1.3k 收藏 8
点赞数 2
分类专栏： python数据分析技巧 文章标签： python 超大文件 文件读取 数据分析
于 2022-01-12 14:33:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/muyashui/article/details/122452310
版权

学习或者工作当中经常会碰到处理大文件的时候, 如果你只有一台普通电脑该如何处理呢? 今天跟大家分享一个处理技巧, 就算现在没有碰到, 点右上角先收藏说不定以后会用到呢!

前段时间碰到的大文件

思路

硬件条件有限, 我们可以试试用pandas分块读取, 读取文件后一般有3种处理办法:

  1. 读取后拆分为多个小文件存放
  2. 读取后筛选部分信息合并为一个文件
  3. 对数据进行汇总(数据透视)后存储

(解释: 比如原始数据是一个按时间的明细, 可以读取后按年或者按月保存问题; 这种大文件有时候列比较多, 但不一定都是我们需要的, 我们可以只筛选部分有用的列; 明细数据我们只使用一次, 需要的是汇总数据, 我们就可以透视后保存结果, 以后只读取结果数据即可)

代码

# 读取后保存为多个文件
import pandas as pd
file = pd.read_csv(
最低0.47元/天 解锁文章
python技巧(数据分析及可视化)
关注
专栏目录
用python3快速读取30G+的txt文件
数据知道的博客
04-25 1万+
处理大文件是很容易想到的就是将大文件分割成若干小文件处理，处理完每个小文件后释放该部分内存。2、对于35G的txt文件，测试用了3分钟读取完成。8G的文件用了不到1分钟。1、上面的代码中，每次读取1M的文件，直到把数据读取完。
python基础是个什么鬼？
xiaokeai0312的博客
11-29 599
python是个什么鬼？其实我也不知道。哈哈哈。古人话斋摸着石头过河总没错。一步一步来，多看多练总有熟悉的一天。贵在坚持。加油鸭。作为初入坑python的小测试，摸黑做个笔记。
10Gb文件打开不费力
12-20
windows 10Gb文件打开不费力 windows 10Gb文件打开不费力
6个Python处理大文件的秘密武器
最新发布
m0_62283350的博客
08-19 1307
在Python编程的世界里，处理大文件是一项常见的挑战，尤其是当我们面对的数据集超出了内存的承载能力时。幸运的是，Python为我们准备了几件秘密武器，让我们能够优雅地处理这些大数据。下面，我们将逐一揭秘这些技巧，并通过实例学习如何应用它们。
Python花式读取大文件(10g/50g/1t)遇到的性能问题（面试向）
刘悦的技术博客
05-12 1208
当我们使用 iter(callable, sentinel) 的方式调用它时，会返回一个特殊的对象，迭代它将不断产生可调用对象 callable 的调用结果，直到结果为 setinel 时，迭代终止。那么可以说上面的代码已经很好了。最后只需要两行代码，就构造出了一个可复用的分块读取方法，和一开始的”标准流程“按行读取 2GB 内存/耗时 65 秒 相比，使用生成器的版本只需要 7MB 内存 / 12 秒就能完成计算。如果被读取的文件里，根本就没有任何换行符，那么上面的第二个好处就不成立了。
Linux基础命令使用（4）
qq_37820135的博客
09-14 480
which命令 which 命令的作用是，在 PATH 变量指定的路径中搜索可执行文件的所在位置。它一般用来确认系统中是否安装了指定的软件 which 可执行文件名称 确认是否安装了 gcc $ which gcc whereis命令 whereis 命令主要用于定位可执行文件、源代码文件和帮助文件在文件系统中的位置 whereis [选项] 文件 参数 描述 -b 定位可执行文件 -m 定位帮助文件 -s 定位源代码文件 -u 搜索默认路径下除可执行文件、源代码文...
Python读写超大文件
小小臭臭的博客
10-29 1735
原文章链接 1G内存读取10G文件 # 1G内存读取10G的文件 def chunked_file_reader(fp, block_size=1024 * 8): """生成器函数：分块读取文件内容""" while True: chunk = fp.read(block_size) # 当文件没有更多内容时，read 调用将会返回空字符串 '' if not chunk: break yield c
Python实战技能-10-如何高效读取大型CSV文件
wsyjx201448030108的博客
10-16 764
整天都要与大量的csv或是excel文件打交道。在处理过程中，我们会遇到一些大型的csv文件，因为文件过大，可能超出内存限制，针对这些情况，我们应当如何处理？下面，根据自身遇到的一些场景，给出一些常见的处理方式
python基础
haonanxu的博客
04-08 772
点击这里，边看视频讲解，边学习以下内容有的函数执行一个流程就完了，并不需要返回什么信息，比如print函数，就是打印一下参数字符串，就完成了它的任务。但是有的函数，需要返回一个结果给调用者。比如 计算两个数字平方和的函数，必须要返回一个结果，告诉调用代码，平方和的计算结果。函数要返回结果，就必须要使用return关键字，后面加上返回的结果对象print(ret)语句等号右边的 就是函数调用的表达式。
使用 mitmproxy + python 做拦截代理
墨鱼菜鸡
07-11 3837
From：https://blog.wolfogre.com/posts/usage-of-mitmproxy https://www.cnblogs.com/H4ck3R-XiX/p/12624072.htmlhttp://www.cnblogs.com/grandlulu/p/9525417.html mitmProxy 介绍：https:/...
【python第三方库】python多进程编程multiprocessing库和subprocess库的区别与使用
All_In_gzx_cc的博客
09-06 2317
仔细说来，multiprocess不是一个模块而是python中一个操作、管理进程的包。之所以叫multi是取自multiple的多功能的意思,在这个包中几乎包含了和进程有关的所有子模块。创建进程部分，进程同步部分，进程池部分，进程之间数据共享。Python要进行多进程操作，需要用到muiltprocessing库，其中的Process类跟threading模块的Thread类很相似。使用方式和所含方法都很相似。blogsubprocess是Python 2.4中新增的一个模块，它允许你生成新的进程（
超大型txt文本查看器(可以查看10G以上文本)
04-04
在windows上面，对于10G以上的文本无法正常查看，此工具可以很快打开，还可以进行修改，非常好用，本人用过。
Python读取大文件解决方案
hhd1988的专栏
08-06 420
Python读取大文件解决方案 背景 用Python读取3GB文件的时候，用普通方式读取报错MemoryError，说明该无文件无法被装载在内存中发生溢出了。 read和readlines都是将整个文件加入到内存中，文件较大时，会引发MemoryError 逐行读取 with open('filename', 'r', encoding = 'utf-8') as f: while True: ...
超大文件打开工具---10G的日志文件
热门推荐
yuanyuan214365的博客
05-17 3万+
今天在公司遇到需要打开10G的左右的tomcat跑出来的日志文件，一般的文件打开的文件加载半天还是没加载出来，主要是文件打开加载在内存的，所以内存不过大肯定是不能加载出来的。在网上找了一工具 PilotEdit ,10G的文件几分钟就加载出来了！但是我这次下载的试用版，注册破解过段时间有空再解决！
使用Python读取大容量的数据并存入数据库中
kg5kb8lbj6的博客
11-05 2148
使用Python读取大容量的数据并存入数据库中一、读数据二、连接数据库1.在数据库中建立一个新的表2.将数据写入到数据库中3.检查数据是否正确 一、读数据 我使用的是第三方包openpyxl进行数据的读取，读取的文件是xlsx格式的，如下： from openpyxl import workbook main_book = openpyxl.load_workbook(r'D:\final.xlsx') main_sheet = main_book.active row = main_sheet.max_r
超大csv解析攻略
林老师带你学编程
09-15 1669
前段时间遇到这样一个需求，解析csv文件数据，将数据封装批量插入数据库中。 咋一看确实没什么问题，但是看到文件大小的时候，差点没吐一口老血，文件大小2.1g！！！如果用传统的方式直接将csv文件流按行解析，然后封装成po对象，结果很明显，优雅的OOM掉了。 所以为了能够成功解析这个超大文件，博主查阅了大量的博客，终于攻克这个问题了。因为这个坑相对比较大，所以这边给大家分享一下，博主的心路历程，...
Python读取大文件的“坑“与内存占用检测
走在搬砖的路上！
10-20 212
Python读取大文件的"坑“与内存占用检测_qq_38461388的博客-CSDN博客python读写文件的api都很简单，一不留神就容易踩”坑“。笔者记录一次踩坑历程，并且给了一些总结，希望到大家在使用python的过程之中，能够避免一些可能产生隐患的代码。1.read()与readlines()：随手搜索python读写文件的教程，很经常看到read()与readlines()这对函数。所以我们会常常看到如下代码：with open(file_path, 'r...https://blog.csdn.
python读取大文件-强悍的Python读取大文件的解决方案
weixin_37988176的博客
11-01 782
Python 环境下文件的读取问题，请参见拙文 Python基础之文件读取的讲解这是一道著名的 Python 面试题，考察的问题是，Python 读取大文件和一般规模的文件时的区别，也即哪些接口不适合读取大文件。1. read() 接口的问题f = open(filename, 'rb')f.read()我们来读取 1 个 nginx 的日至文件，规模为 3Gb 大小。read() 方法执行的操作...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

python技巧(数据分析及可视化)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值