线性回归
上图中的平面就是我们预测的结果,橙黄色的点就是真是值,可以发现预测结果和真是值之间是存在误差的,我们要做的就是将误差降到最低。
误差实际上是符合正态分布的,所以我们就可以将其应用于概率密度函数如下图中第二个公式当中。
似然函数就是上图最后一行的函数的连成,可以将上图第三个函数理解为边缘概率,而似然函数理解为联合概率
我们为了让误差最小只需要上面的化简结果的值最小,就能使预测结果真实性的概率最大
上面的公式
部分无法保证一定存在,如不存在是无法通过上面的公式进行求解的,所以上述方式在机器学习当中并不常用,下面引入另外一直方法,梯度下降法
梯度下降法
我们将预算的误差想象成是一座山,山顶误差最大,山底误差最小,假设我们目前在某一个点,那么为了使误差最小,我们就需知道我改向哪个方向走才能下山的速度最快。计算出方向以后走一小步,注意步长一定要短,否则你可能到达另外一个山的半山腰处,从而认错山底。如下图所示
梯度下降的策略
逻辑回归
逻辑回归是解决分类的问题