监督学习应用-梯度下降-入门的入门

监督学习的应用：梯度下降

监督学习：就是人们常说的分类，通过该已有的训练样本（已知数据及相应的输出）去训练得到一个最优模型（这个模型属于某个函数集合，最优则表示在某个评价准则下的最优），再利用这个模型将所有的输入映射成相应的输出，对输出进行简单的判断，从而实现分类的目的，是系统具有对未知数据进行分类的目的。

监督学习典型的例子：KNN、SVM。

以一个房屋价格估计为例，讲解监督学习的应用：梯度下降

首先引入一些变量，这些变量在后续的推理证明过程中会经常使用到：

m：便是训练样本的数量；

x：便是输入变量（在具体的问题中表示的意义不一样，在本例中表示房屋的面积等房屋的特征（feature））；

Y：表示输出变量（在本例中就代表房屋的价格（target））；

(x，y)：表示一个训练样本；

     第i个训练样本用（）来表示；

    基本模型：

            

   假设h(x)=  

h(x)为输出函数，即房屋价格；θ为函数参数；x是房屋的大小

当然，衡量一个房屋的价值和房屋多方面的因素有关，除了大小外，还有其他的特征作为房屋价值评估标准，所以实际的函数应该是：

     

使用MATLAB语言实现简单的线性回归模型：

 

x = [1 2 3 4 5 6 7 8 9 10 11];
y = [12 15 14 15 13 17 18 17 20 21 24];

theta1 = 0;
theta0 = 0;

% h(x) = theta1 * x1 + theta0

theta1 = mean(y) / mean(x);
theta0 = y(1);

disp("training data X:");
disp(x);
disp("training data Y:")
disp(y);
disp("theta1's  initial value:");
disp(theta1);
disp("theta0's  initial value:");
disp(theta0);

a = 0.001; %梯度下降算法的步伐

while(1)
  temp1 = 0;
  temp0 = 0;
  for i = 1:size(x,2)
    temp1 = temp1 + (((theta1 * x(i) + theta0) - y(i)) * x(i));
    temp0 = temp0 + ((theta1 * x(i) + theta0)- y(i));
  end
  old_theta1 = theta1;
  old_theta0 = theta0;
  
  theta1 = old_theta1 - ((a * temp1));
  theta0 = old_theta0 - ((a * temp0));
  
  if(((a * temp1)) < 0.0000000003) 
    if(((a * temp0)) < 0.0000000003)
       f = theta1 * x + theta0;
       plot(x,y,'bo',x,f,'g');
       break;
     end
  end
end

disp("theta1's final result:");
disp(theta1);
disp("theta0's final result:");
disp(theta0);

grid on;
xlabel('Independent variable X');
ylabel('Dependent Variable Y');
axis([0 15 0 25]);