机器学习之线性模型的训练过程

 线性模型的训练过程

1.初始化模型    包括初始化 模型参数W  和   b，使得对任意X可以通过 y=WX+b得到y的结果。

2.准备好数据集，即用于训练的X和Y

3.开始训练

   3.1向前传播  计算y_pre=WX+b

   3.2计算误差(或称损失)  计算Loss=loss(y_pre,y)   其中 loss可以是mae、mse(常称为最小二乘法，或均方误差、平方2损失)、交叉熵等

   3.3计算此时误差关于模型参数W、b的梯度Grad_W和Grad_b

   3.4更新W=W-Grad_W*alpha,   b=b-Grad_b*alpha  （基于梯度下降）

4.训练完成，进行验证

 

注：其中3.4的更新可以不基于梯度，如对于凸优化问题，直接求最佳参数W,b的拟牛顿法等，其次参数b也可以插入W中，即令W*=(W,b),此时X也需要相应地增加一列值为1的列。