- 前言
之前做实验接触到的文本数据都是已经处理成csv直接使用即可的,最近做的比赛是给出的txt文件,要经过一些操作才可以被使用。在此总结出一些数据操作方法,以防忘记。
- 大数据存储格式
对于文本文件,最常用的格式是.csv,.txt,.xls,在实践中,我发现.csv是最适合大数据文本存储的,它显示清晰,最大存储量大。而.txt,.xls文件都有各自的缺点,.txt没有显示格式,阅览不方便。.xls文件有最大行限制,貌似是2的16次方,从一定程度上,它根本算不上大数据的存储方式。
- 数据互相转化方式
我们刚刚提到的三种数据格式实际上可以互相转换,这时候excel的数据导入功能就是一个神器了。
打开excel--数据--导入数据--选择数据源(直接打开数据文件)--选取某文件--选择分隔符号--选择导入具体内容--另存为其他格式。
这样即可轻松实现文件之间的转化,但问题是如果数据量非常巨大,excel是可能存在转换错误的问题的,因此以下part介绍如何直接使用matlab读入文档,实现数据处理功能。
- matlab读取数据方式
1.数据量不是很大的情况,自带读取函数的应用
直接使用matlab自带的各文件读取函数:
file=xlsread(‘/../../…xls); %读取xls文