机器学习笔记-简单线性回归

机器学习笔记-简单线性回归

摘要

简单线性回归是最简单易懂的回归模型（针对连续性变量）。主要的知识点有SSE, 梯度下降等

0x01 基本概念

1.1

简单线性回归重要的一点是利用历史数据找到y=ax+b的系数a和b，使得历史数据的SSE即平方误差和最小。

找寻的方法是梯度下降。

1.2 步骤

1. 随机初始化a,b，并计算此时的SSE之和
2. 梯度下降。将SSE=1/2(Y-Ypredict)^2对a求偏导=-(Y-Ypredict)，SSE对b求偏导等于-(Y-YP)X。然后将样本分别计算，并将两类偏导数分别相加得到梯度。梯度是向量，即为由方向的大小。
3. a = a-学习率*SSE对a求得的偏导数，b = b-学习率*SSE对b求得的偏导数。这里注意，是将样本值带入偏导数进行计算并求和。然后更新两值，带回原方程，求得新的SSE。此过程中总SSE会不断下降。
4. 重复步骤3，直到a,b变化很小或SSE足够小或已达到指定迭代计算次数。

1.3 学习率调整

根据调整后重新计算的SSE情况，适当调整学习率大小。

0x02 归一化

是指将数据整理为(0,1)的数字。

比如用 (x-min)/(max-min)

0x03 梯度下降