机器学习笔记（二） -- 机器学习训练的过程

机器学习训练的过程

1. 找一个带有未知参数的函数，猜测这个函数的构成，其中y为model，x为feature，w为weight，b为bias。
   
2. 从训练数据中定义损失函数，损失函数的参数是模型的w和b，损失函数的作用是如何让b，w的取值更好。如何找损失函数，就是通过数据带入，看预测的值与真实值的差距较小，就是好的损失函数。
   
   正确的值称为label，e1为预测值与真实值差的绝对值。
   
   同样的方法可以算出来三年来预测的误差。
   
   L就是平均误差
   
   error surface误差曲面：颜色越深，L越大，误差越大，颜色越浅，误差越小，颜色越浅。
   
3. 最优化：找最佳的w和b，使得loss最小。
   找最佳w：随机选择一个初始的w值，在初始值这里算微分（切线斜率），如果微分为负值则说明递减，则增加w使得l变小，如果微分为正值则说明递增，则减少w使得l变小。
   
   梯度下降，w变化的多少，由微分和自己所设置的学习率决定。
   
   接下来就是重复的变化w（变化的次数由自己决定）

local minima：局部最优解
global minima：全局最优解

找最佳w和最佳b：同时找两个参数的过程可以类比到找w的那个过程。

通过计算微分，赋值向量可以得到最佳的w和b，将w，b带入得到损失函数。