matlab数据异常点识别及缺失值处理

% 此文件讲解如何对缺失数据进行插补以及如何识别数据中存在的异常点
% 主要针对的插补对象是数值型数据，从文本文件或者Excel文件中导入
% MATLAB fillmissing 函数
% MATLAB filloutliers 函数
% EM算法数据插补（2019年8月21日单独专题）

% 参考文献
% https://ww2.mathworks.cn/help/matlab/ref/fillmissing.html
% https://ww2.mathworks.cn/help/matlab/ref/filloutliers.html#bvlnf4n-1-findmethod

part 1：缺失数据处理

%生成测试数据 test1, 该文件仅包含数字，列之间以tab分隔。
xval=0:0.1:10; 
yval_1=sin(xval); %正弦曲线
yval_2=cos(xval); %余弦曲线

%参杂缺失数据
yval_1(20:30)=nan; % 第一条曲线20-30数据点缺失
yval_2(59:69)=nan; % 第二条曲线59-69数据点缺失


f=fopen('test1.txt','wt');
fprintf(f,'x\tsin(x)\tcos(x)\n');
for i=1:length(xval)
    fprintf(f,'%f\t%f\t%f\n',xval(i),yval_1(i),yval_2(i));
end
fclose(f);

data1=importdata('test1.txt');
testdata=data1.data;


% 判断数据中是否存在缺失值
if sum(isnan(testdata(:)))
    disp('存在缺失值')
else
    disp('不存在缺失值')
end

%可以尝试下以下函数 mean(testdata), nanmean(testdata), mean(testdata,‘omitnan’)
%观察有缺失值时部分函数的运算结果。

% 缺失值并不影响plot函数，plot会自动将包含缺失值的点过滤。
% 画出两条曲线，插图1

figure
plot(testdata(:,1),testdata(:,2),'ro')
hold on
plot(testdata(:,1),testdata(:,3),'bo')
xlabel('x')
set(gca,'FontSize',16)
legend({'sin(x)','cos(x)'},'Location','SouthWest')
legend('boxoff') % 去掉legend丑陋的边框
saveas(gca,'fig1','emf')

观察对比以下几种缺失值插补方法的效果

第一类方法，使用邻近的前一个非缺失值替换每个 NaN

% 类似的还有next-使用下一个非缺失值插补，‘nearest’ - 距离最近的非缺失值

testdata1=fillmissing(testdata,'previous');  
figure
plot(testdata1(:,1),testdata1(:,2),'ro')
hold on
plot(testdata1(:,1),testdata1(:,3),'bo')
xlabel('x')
set(gca,'FontSize',16)
legend({'sin(x)','cos(x)'},'Location','SouthWest')
legend('boxoff') % 去掉legend丑陋的边框
saveas(gca,'fig2','emf')

第二类方法，使用线性插值linear、分段三次样条插值spline、保形分段三次样条插值pchip

testdata1=fillmissing(testdata,'spline');  
figure
plot(testdata1(:,1),testdata1(:,2),'ro')
hold on
plot(testdata1(:,1),testdata1(:,3),'bo')
xlabel('x')
set(gca,'FontSize',16)
legend({'sin(x)','cos(x)'},'Location','SouthWest')
legend('boxoff') % 去掉legend丑陋的边框
saveas(gca,'fig3','emf')

第三类方法，使用移动滑窗插补，movmean， movmedian

testdata1=fillmissing(testdata,'movmean',10); % 窗口长度为10的移动均值
figure
plot(testdata1(:,1),testdata1(:,2),'ro')
hold on
plot(testdata1(:,1),testdata1(:,3),'bo')
xlabel('x')
set(gca,'FontSize',16)
legend({'sin(x)','cos(x)'},'Location','SouthWest')
legend('boxoff') % 去掉legend丑陋的边框
saveas(gca,'fig4','emf')

part 2：异常值发现

% 如何判断数据中是否存在异常点

% B = filloutliers(A,fillmethod,findmethod)
% B = filloutliers(A,fillmethod,movmethod,window) 指定根据 window 定义的
% 窗口长度检测局部离群值的移动方法。例如，filloutliers(A,‘previous’,‘movmean’,5)
%将包含五个元素的窗口中与局部均值相差超过三倍局部标准差的元素标识为离群值。

%生成测试数据 test1, 该文件仅包含数字，列之间以tab分隔。
xval=0:0.1:10; 
yval_1=0.2*sin(xval); %正弦曲线
yval_2=0.2*cos(xval); %余弦曲线

% 参杂缺失数据
yval_1(20:30)=yval_1(20:30)+(rand(1,11)-0.5)*20; % 第一条曲线20-30数据加入异常点
yval_2(59:69)=yval_2(59:69)+(rand(1,11)-0.5)*20; % 第二条曲线59-69数据加入异常点


f=fopen('test2.txt','wt');
fprintf(f,'x\tsin(x)\tcos(x)\n');
for i=1:length(xval)
    fprintf(f,'%f\t%f\t%f\n',xval(i),yval_1(i),yval_2(i));
end
fclose(f);

% 判断数据中是否存在缺失值
data2=importdata('test2.txt');
testdata=data2.data;
if sum(isnan(testdata(:)))
    disp('存在缺失值')
else
    disp('不存在缺失值')
end

% 画出两条曲线
figure
plot(testdata(:,1),testdata(:,2),'ro')
hold on
plot(testdata(:,1),testdata(:,3),'bo')
xlabel('x')
set(gca,'FontSize',16)
legend({'sin(x)','cos(x)'},'Location','SouthWest')
legend('boxoff') % 去掉legend丑陋的边框
saveas(gca,'fig5','emf')

观察对比以下几种异常值查找并插补的效果

% （1）用什么方法法检测离群值（当不制定时默认三倍标准差法）
% （2）用什么方法替换离群值

testdata1= filloutliers(testdata,'nearest','mean'); % 最近邻插补nearest+与均值相差超过三倍标准差检测mean
figure %插图6
plot(testdata1(:,1),testdata1(:,2),'ro')
hold on
plot(testdata1(:,1),testdata1(:,3),'bo')
xlabel('x')
set(gca,'FontSize',16)
legend({'sin(x)','cos(x)'},'Location','SouthWest')
legend('boxoff') % 去掉legend丑陋的边框
saveas(gca,'fig6','emf')

testdata1= filloutliers(testdata,'spline','grubbs'); % 三次样条插值+Grubbs 检验检测离群值
figure 
plot(testdata1(:,1),testdata1(:,2),'ro')
hold on
plot(testdata1(:,1),testdata1(:,3),'bo')
xlabel('x')
set(gca,'FontSize',16)
legend({'sin(x)','cos(x)'},'Location','SouthWest')
legend('boxoff') % 去掉legend丑陋的边框
saveas(gca,'fig7','emf')

testdata1= filloutliers(testdata,'spline','gesd'); % 三次样条插值+Grubbs 检验检测离群值
figure 
plot(testdata1(:,1),testdata1(:,2),'ro')
hold on
plot(testdata1(:,1),testdata1(:,3),'bo')
xlabel('x')
set(gca,'FontSize',16)
legend({'sin(x)','cos(x)'},'Location','SouthWest')
legend('boxoff') % 去掉legend丑陋的边框
saveas(gca,'fig8','emf')

基于滑窗的方法

testdata1= filloutliers(testdata,'spline','movmedian',10); 
figure 
plot(testdata1(:,1),testdata1(:,2),'ro')
hold on
plot(testdata1(:,1),testdata1(:,3),'bo')
xlabel('x')
set(gca,'FontSize',16)
legend({'sin(x)','cos(x)'},'Location','SouthWest')
legend('boxoff') % 去掉legend丑陋的边框
saveas(gca,'fig9','emf')

获取代码文件或想了解更多内容，欢迎关注公众号：数学建模公会