局部加权线性回归算法

<p>http://blog.csdn.net/hujingshuang/article/details/46274723</p><p>感谢这位博主无私分享思路，本人结合他的思路利用梯度下降法进行实现</p><p><strong>主要思路如下：</strong></p><p><strong><span style="white-space: pre;">			</span>1.定义每一组样本X1 X2 X3 X4 ...Xm参考样本L1 L2 L3 L4..Lm  其中m是样本数</strong></p><p><strong><span style="white-space: pre;">			</span>2.写两个循环分别求出每一组样本与参考样本的相似度（得到的权值矩阵应该是m*m）【tips 两个向量的距离可以用范数norm实现】</strong></p><p><strong><span style="white-space: pre;">			</span>3.把权值矩阵的每一行用来计算代价函数值和梯度</strong></p><p><strong><span style="white-space: pre;">			</span>4.于是这样每一行的权值都能训练出一列参数Θ</strong></p><p><strong><span style="white-space: pre;">			</span>5.接收所有Θ再利用ΘTX得到y，我们只选取对角线上的，因为不在对角线上的值并没有意义</strong></p><p><strong><span style="white-space: pre;">			</span>6.绘图</strong></p><p><strong>代码如下：</strong></p>

%思路参考  http://blog.csdn.net/hujingshuang/article/details/46274723
clc
clear all
close all
load('Q2x');%读取训练数据
load('Q2y');%读取训练数据
q2x = Q2x;
q2y = Q2y;
weight=[];
q2x=[ones(size(q2x,1),1) q2x];%加一列偏置项
[m n]=size(q2x);
theta=zeros(n,m);
figure;
hold on;
plot(q2x(:,2),q2y,'.b');

l = q2x;%landmark 高斯核函数的标记

%在这里得到m*m的相似度函数
for i = 1:m
     for j = 1:m
         weight(i,j) = exp(-norm((q2x(i,:)-l(j,:)),2).^2/(2*3));%计算出第i个样本与第j个marker的相似度（类似SVM的高斯核），所以一行是同一个样本，一列是同一个TEST
     end
end

options = optimset('MaxIter', 400);
initial_theta = zeros(n,1);
for i = 1:m
    CostFunction = @(t)TrainCost(q2x,Q2y,t,weight(:,i));%每次都丢一组权值（同一个TEST）进去来得到一组参数Θ
    theta(:,i)=fmincg(CostFunction, initial_theta, options);%返回最小的梯度THETA值一共有m列，得到m个样本拟合出来的Θ
end

y_fit=q2x*theta;  
y_fit=diag(y_fit);  
q2xs=sort(q2x);  

result=[Q2x y_fit];
x_result=sortrows(result,1);
plot(x_result(:,1),x_result(:,2)); 

function [J grad] = TrainCost(X,y,Theta,weight)
     m = size(X,1);
     h = X*Theta;
     J = (1/(2*m))*weight'*(h-y).^2;
     grad = (1/m)*(weight.*(h-y))'*X;
     grad = [grad(:,1);grad(:,2)];
end