在工作中会有很多特殊的需要,比如我现在就遇到一个需要将大型的文本格式数据文件(比如5G)读取到MATLAB中,同时进行一定的处理。由于XP的内存是绝对没有办法将5G的数据一次性加载到工作空间的,此时一般我们是对数据进行分段处理,为了防止长时间等待,让用户以为是死机了,这个时候我们希望添加一个进度条告诉用户处理到什么地方了。但是我们必须先统计文件的行数,才能给出进度。
另外有些用户希望获取文件的长度(字符个数),哦这个其实很简单!
fid=fopen('data.csv');
fseek(fid,0,'eof')
filelength = ftell(fid);
fclose(fid);
现在问题来了,如何获取文本文件的行数呢??下面我们提供几种解决方案吧!本文代码中测试的data.csv数据文件总共有10万行,大概77M。
方法一
最容易想到的就是使用MATLAB的fgetl或fgets函数,对文本按行读取,然后对行数进行累加。
tic
fid=fopen('data.csv'); % 打开文件
row=0;
while ~feof(fid) % 是否读取到文件结尾
[~]=fgets(fid); %
或者fgetl
row=row+1; % 行数累加
end
fclose(fid); % 及时关闭文件是个好习惯
row
toc
运行结果如下,fgets大概耗时大概10s,如果fgetl速度会慢