这篇博客总结了吴恩达cs229课程的一二节内容，主要涵盖最小二乘法、局部加权线性回归和逻辑回归。最小二乘法通过梯度下降法求解，包括批量梯度下降和随机梯度下降。局部加权线性回归考虑了样本距离的影响，而逻辑回归则是一种用于离散输出的分类算法。
主要是讲了最小二乘法（以及证明最小二乘法的随机误差法）、局部线性加权、逻辑回归三部分。
最小二乘法
最简单的算法，一种线性回归方法，核心思想是在样本数据中当预估值与实际值方差最小的时候，说明算法此时达到了最优解。
具体可以通过迭代来实现，有两种迭代方法：批量梯度下降和随机梯度下降。
批量梯度下降：每次迭代的时候都会引入全部样本的值进行计算，当样本数据比较大的时候，计算成本会很大。
随机梯度下降：每次迭代仅仅引入一个样本的值，计算很方便，但是本人非常怀疑这个的准确性，试想，如果上一次结算得到的参数值恰好对下一次的数据你和非常良好，这是否就意味着这个参数就是最优解？当然不是，个人设想了一种解决方法：当连续好几次迭代得到的参数都满足了计算要求，此时可以认为是最优解。
第二种方法是利用矩阵的运算来快速进行证明，吴老师引入了一个矩阵的迹：tr函数，表示方阵的对角线之和。矩阵的迹满足以下公式：
最低0.47元/天 解锁文章
扫一扫
691
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
