加权最小二乘法和离群点

pdf



答：处理方法1）使用加权最小二乘法；由于最小二乘法思想是最小化均方差，在误差符合正态分布，均值为0的前提下，考虑了每个样本的贡献度，即每个样本都具有相同的权重，因此最小二乘法对数据中间的异常值特别敏感。加权最小二乘法也是以距离为度量，根据距离大小赋予不同的权重值，可以在一定程度上减少异常值的干扰。
2）使用残差诊断离群值；利用最小二乘法线性模型，通过计算残差，判定采样数据中的离群值，去除离群值后再次计算残差，找出离群值，
直至不再出现离群值，计算最小二乘法回归方程。

C = [1 1;2 1; 3 1];
d = [1;1;3];
Aeq = [1,1];
beq = [1];
x = lsqlin(C,d,[],[],Aeq,beq)
norm_c = C*x-d
norm(norm_c,2)

x =

    0.8000
    0.2000


norm_c =

         0
    0.8000
   -0.4000


ans =

    0.8944

load examgrades
y = grades(:,5);
X = [ones(size(grades(:,1))) grades(:,1:2)];

figure(1)
[b,bint,r,rint,s] = regress(y,X,0.01);
contain0 = (rint(:,1)<0 & rint(:,2)>0);
idx = find(contain0==false)
hold on
scatter(y,r)
scatter(y(idx),r(idx),'b','filled')
xlabel("Last Exam Grades")
ylabel("Residuals")
axis([60 90 -8 14])
hold off

figure(2)
rcoplot(r, rint)
title('原始数据残差图及奇异点')

% 去除奇异点数据 idx
y(idx(1,1)) = [];
X(idx(1,1),:) = [];
y(idx(2,1)) = [];
X(idx(2,1),:) = [];

figure(3)
[b,bint,r,rint,s] = regress(y,X,0.01);
contain0 = (rint(:,1)<0 & rint(:,2)>0);
idx = find(contain0==false)
hold on
scatter(y,r)
scatter(y(idx),r(idx),'b','filled')
xlabel("Last Exam Grades")
ylabel("Residuals")
axis([60 90 -8 14])
hold off

figure(4)
rcoplot(r, rint)
title('第一次去除2个奇异点数据残差图')

% 去除奇异点数据 idx
y(idx(1,1)) = [];
X(idx(1,1),:) = [];

figure(5)
[b,bint,r,rint,s] = regress(y,X,0.01);
contain0 = (rint(:,1)<0 & rint(:,2)>0);
idx = find(contain0==false)
hold on
scatter(y,r)
scatter(y(idx),r(idx),'b','filled')
xlabel("Last Exam Grades")
ylabel("Residuals")
axis([60 90 -8 14])
hold off

figure(6)
rcoplot(r, rint)
title('第二次去除1个奇异点数据残差图')

x1 = X(:,2);
x2 = X(:,3);
scatter3(x1,x2,y,'filled')
hold on
x1fit = min(x1):2:max(x1);
x2fit = min(x2):2:max(x2);
[X1FIT,X2FIT] = meshgrid(x1fit,x2fit);
YFIT = b(1) + b(2)*X1FIT + b(3)*X2FIT ;
mesh(X1FIT,X2FIT,YFIT)
xlabel('First Exam Grades')
ylabel('Second Exam Grades')
zlabel('Last Exam Grades')
view(50,10)
hold off

Ey = mean(y); % 计算均值
U = sum((y-Ey).^2); % 计算总体偏差

参考mathwork 中regress 函数示例，数据集为matlab中examgrades。图一显示原始数据中的两个离群值，去除这两个离群值再做一次最小二乘回归，图二显示数据中还有一个离群值，图三为经残差处理后的数据散点图，图四为处理后数据空间显示图。

图一

图二

图三

图四

References：
https://blog.csdn.net/red_stone1/article/details/80755144
https://blog.csdn.net/Dust_Evc/article/details/121942306