机器学习-lesson2(线性回归、梯度下降、逻辑回归)

线性回归

上图中的平面就是我们预测的结果，橙黄色的点就是真是值，可以发现预测结果和真是值之间是存在误差的，我们要做的就是将误差降到最低。
误差实际上是符合正态分布的，所以我们就可以将其应用于概率密度函数如下图中第二个公式当中。

似然函数就是上图最后一行的函数的连成，可以将上图第三个函数理解为边缘概率，而似然函数理解为联合概率

我们为了让误差最小只需要上面的化简结果的值最小，就能使预测结果真实性的概率最大

上面的公式

部分无法保证一定存在，如不存在是无法通过上面的公式进行求解的，所以上述方式在机器学习当中并不常用，下面引入另外一直方法，梯度下降法

梯度下降法

我们将预算的误差想象成是一座山，山顶误差最大，山底误差最小，假设我们目前在某一个点，那么为了使误差最小，我们就需知道我改向哪个方向走才能下山的速度最快。计算出方向以后走一小步，注意步长一定要短，否则你可能到达另外一个山的半山腰处，从而认错山底。如下图所示

梯度下降的策略

逻辑回归

逻辑回归是解决分类的问题