python 读大文件安全高效方法（readline函数）

最新推荐文章于 2023-01-29 08:30:00 发布
最新推荐文章于 2023-01-29 08:30:00 发布
阅读量1.1k 收藏
点赞数
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chenhepg/article/details/103629810
版权
python 读大文件安全高效方法（readline函数）
with open('filename') as file:  # 安全
    for line in file:  # 高效
        do_things(line)

理论上：

readlines()

总体上file.readlines()可以（取决于实现）。
循环在C语言层面。
内存占用为整个文件，开销大。

readline()

不慢于你自己手动的一次次调用file.readline()。
循环在Python语言层面。
内存占用也就是一行的内容

在内存占用上前者可能是后者的好几十百倍，因为前者会一次性把所有数据读取到内存中，而后者只每次读取一行。

Ref

作者：呵呵一笑百媚生
链接：https://www.zhihu.com/question/28426969/answer/40799674
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

条件漫步
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
chatgpt赋能python：PythonReadline遍历:如何准确高效地读取大文件
yakuchrisfor的博客
05-25 244
本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。🧡AI职场汇报智能办公文案写作效率提升教程 🧡专注于AI+职场+办公方向。下图是课程的整体大纲下图是AI职场汇报智能办公文案写作效率提升教程中用到的ai工具。
Python read,readline,readlines和大文件读取
夏冬丶王阳旭
11-10 6232
原本，我觉得read，readline，readlines比较简单，没什么好说的，本没打算要单独说一说的，但是在一次面试的时候，面试官问到了这个问题，但我并没有回答的很好，在面对大文件时的处理，没有给出很好的回答，所以这里单独来研究研究，并好好说一下这三个的方法。 首先，这三个方法都是Python中对文件的操作。可以通过with open(...) as f:打开文件并操作文件。 正文...
python文件读read()、readline()、readlines()对比
dovert的博客
07-19 283
一、read方法 　　特点是：读取整个文件，将文件内容放到一个字符串变量中。 　　劣势是：如果文件非常大，尤其是大于内存时，无法使用read()方法。 file = open('兼职模特联系方式.txt', 'r') # 创建的这个文件，也是一个可迭代对象 try: text = file.read() # 结果为str类型 print(type(text)) print(text) finally: file.close() """ <class 'st
python读取大文件
weixin_33918114的博客
11-17 317
最近在学习python的过程中接触到了python对文件的读取。python读取文件一般情况是利用open()函数以及read()函数来完成： f = open(filename,'r') f.read() 这种方法读取小文件，即读取远远大小小于内存的文件显然没有什么问题。但是如果是将一个10G大小的日志文件读取，即文件大于内存的大小，这么处理就有问题了，会造成MemoryError...
python中的red readline 和readlines 以及读取大文件
qq_42533216的博客
03-03 818
read()方法： 1、读取整个文件，将文件内容放到一个字符串变量中，如果需要对文件按行进行处理，则不可用该方法 2、如果文件大于可用内存(好几个G的)，不可能使用这种处理，系统会报错：MemoryError 以下两种实现方式 f = open(r'C:\Users\DELL\Desktop\python\words.txt','r') #创建一个文件对象，也是一个可迭代对象 try: content = f.read() #结果为str类型 print (type(content)...
Python 读取大文件
未来在这儿的专栏
01-29 2575
Python读取文件大小大于内存，这么处理就有问题了，会造成MemoryError … 也就是发生内存溢出。那么改如何避免或者定位呢
使用Python读取大文件的方法
09-20
首先，Python文件对象提供了三个基本的读取方法：.read()、.readline()和.readlines()。.read()方法可以一次性读取整个文件的内容到字符串变量中，非常适合小文件，但当文件体积庞大时，这种方法会耗尽内存，导致...
python中readline判断文件读取结束的方法
12-24
大家知道，python中按行读取文件可以使用readline函数，下面现介绍一个按行遍历读取文件的方法，通过这个方法，展开我们要讨论的问题： 复制代码 代码如下:filename = raw_input(‘Enter your file name’) #输入要...
python简单读取大文件的方法
09-21
在Python编程中，处理大...Python提供的工具和方法使得我们可以灵活地处理各种规模的文件，同时保持代码简洁和高效。通过合理地利用这些特性，可以有效地管理内存，提高程序运行速度，处理GB级别的大文件也不再是难题。
简单介绍Python中的readline()方法的使用
01-20
readline()方法从文件中读取一整行。尾部的换行符保持在字符串中。如果大小参数且非负，那么一个最大字节数，包括结尾的换行和不完整的行可能会返回。 遇到EOF时立即返回一个空字符串。 语法 以下是readline()方法的...
Python文本处理之按行处理大文件的方法
09-20
下面小编就为大家分享一篇Python文本处理之按行处理大文件的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
python判断文件的状态_python中readline判断文件读取结束的方法
weixin_28759725的博客
03-02 1111
本文实例讲述了python中readline判断文件读取结束的方法。分享给大家供大家参考。具体分析如下：大家知道，python中按行读取文件可以使用readline函数，下面现介绍一个按行遍历读取文件的方法，通过这个方法，展开我们要讨论的问题：代码如下:filename = raw_input('Enter your file name')#输入要遍历读取的文件路径及文件名file = open...
怎么用python读取大文件_如何使用Python读取大文件
weixin_35850669的博客
02-12 476
背景最近处理文本文档时(文件约2GB大小)，出现memoryError错误和文件读取太慢的问题，后来找到了两种比较快Large File Reading的方法，本文将介绍这两种读取方法。准备工作我们谈到“文本处理”时，我们通常是指处理的内容。Python 将文本文件的内容读入可以操作的字符串变量非常容易。文件对象提供了三个“读”方法：.read()、.readline()和.readline...
python读取大文件目录_Python基于read(size)方法读取超大文件
weixin_39959794的博客
11-21 155
pyhon读取文件很方便,但是,如果文件很大,而且还是一行文件,那就蛋疼了. 不过还好有read(size)方法,这个方法就是每次读取size大小的数据到内存中下面来个示例def readlines(f, separator):'''读取大文件方法:param f: 文件句柄:param separator: 每一行的分隔符:return:'''buf = ''while True:while...
大文件读取的实现-PYTHON
chenzhao635的专栏
03-14 127
当前一个大文件大小，比当前的机器的内存大，先读取某个文件里的一部分。 文件遍历 因为文件保存了很多字符和行，因此也是循环常见的典型使用案例，最原始的方法可以调用文件对象的read方法，把文件内容一次性加载至字符串对象 file = open('myfile.txt', 'r') print(file.read()) hello text file goodbyt text file Hahaha...
pytorch中的使用dataset, dataloader读取超大h5py数据文件
XX|XX的博客
05-18 4634
pytorch中的使用dataset, dataloader读取超大h5py数据文件问题描述解决方案 问题描述 这里 解决方案
python读写read(),readline,readlines
狮子王的专栏
03-25 1108
1.read() 每次读取整个文件，通常用于将一个文件内容放到一个字符串中。但是当文件内容过大时，则不可行，并且当按行读取文件时也不适合。 2.readline() 每次读取一行，占用内存小，适合读大文件。 #coding:utf-8 #python2.7 f = open('1.txt','r') result = list() for line in f: line = f.read
Python 之读取大文件readline与readlines的差别
weixin_30306905的博客
05-06 163
import time def get_all_lines(filename): start_time = time.time() try: f = open(filename, 'rb') except Exception as e: exit(e) f.readlines() f.close()...
python 的read 、readline和 readlines以及如何读取大文件
热门推荐
Strive_0902的博客
09-02 2万+
read()方法： 1、读取整个文件，将文件内容放到一个字符串变量中，如果需要对文件按行进行处理，则不可用该方法 2、如果文件大于可用内存(好几个G的)，不可能使用这种处理，系统会报错：MemoryError 以下两种实现方式 f = open(r'C:\Users\DELL\Desktop\python\words.txt','r') #创建一个文件对象，也是一个可迭代对象 try: ...
Python readline函数
最新发布
10-19
Python中的readline()函数是用于从文件中读取一行数据的函数。它可以读取文本文件、二进制文件和标准输入等。当读取到文件末尾时，readline()函数会返回一个空字符串。 下面是一个简单的示例，演示如何使用readline()函数从文件中读取数据： ```python with open('file.txt', 'r') as f: line = f.readline() while line: print(line) line = f.readline() ``` 在上面的代码中，我们打开了一个名为file.txt的文件，并使用readline()函数读取了文件中的每一行数据。当读取到文件末尾时，readline()函数会返回一个空字符串，此时循环结束。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值