对于任务一而言,主要是进行数据的预处理工作;首先需要用matlab编写一套读取文件的代码,参考如下:
List =dir('C:\Users\DELL\Desktop\data\*.txt'); %设置路径
for i=1:1:length(List) %挨个读入txt文件数据
A{i}=importdata(['C:\Users\DELL\Desktop\data\',List(i).name]);
End
然后对数据做相关的处理工作即可;可选择不同的方法将无用数据提取出来,其中异常数据可以用简单统计分析、3σ原则或者箱线图来计算;对于缺失数据和相同及相似数据直接用程序判断即可,找到上述异常数据后直接剔出。