matlab中读文件的行数_MATLAB中获取大型文本文件行数方法研究(转)

本文探讨了在MATLAB中如何高效地统计大型文本文件的行数,包括使用fgetl/fgets、textscan和fread等方法的优缺点,并对比了它们的运行时间。在处理超过5GB的文件时,通过调用Perl脚本或Linux的wc命令能更快地获取行数,但随着文件增大,计算时间并非线性增长。此外,还介绍了生成大型测试数据的MATLAB代码。
摘要由CSDN通过智能技术生成

在工作中会有很多特殊的需要,比如我现在就遇到一个需要将大型的文本格式数据文件(比如5G)读取到MATLAB中,同时进行一定的处理。由于XP的内存是绝对没有办法将5G的数据一次性加载到工作空间的,此时一般我们是对数据进行分段处理,为了防止长时间等待,让用户以为是死机了,这个时候我们希望添加一个进度条告诉用户处理到什么地方了。但是我们必须先统计文件的行数,才能给出进度。

另外有些用户希望获取文件的长度(字符个数),哦这个其实很简单!

fid=fopen('data.csv');

fseek(fid,0,'eof')

filelength = ftell(fid);

fclose(fid);

现在问题来了,如何获取文本文件的行数呢??下面我们提供几种解决方案吧!本文代码中测试的data.csv数据文件总共有10万行,大概77M。

方法一

最容易想到的就是使用MATLAB的fgetl或fgets函数,对文本按行读取,然后对行数进行累加。

tic

fid=fopen('data.csv'); % 打开文件

row=0;

while ~feof(fid) % 是否读取到文件结尾

[~]=fgets(fid); %

或者fgetl

row=row+1; % 行数累加

end

fclose(fid); % 及时关闭文件是个好习惯

row

toc

运行结果如下,fgets大概耗时大概10s,如果fgetl速度会慢

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值