- 博客(3)
- 收藏
- 关注
RSS订阅转载 吴恩达机器学习——梯度检验
在神经网络反向传播讲解过程中，提到了个梯度检验的小技巧，用于检验反向传播求解的梯度是否正确。原理就是偏导数可以写为双侧差分形式，即其中是个很小的数，它的值太小可能会使计算出问题，值太大则这个偏导近似是不准确的，课程中建议设置为，遍历求解代价函数对所有所有的偏导，与采用高级方法求解的值比较，差值相对很小时，可认为梯度求解正确。注意：这个步骤只用于检测梯度求解是否正确，在验证后，要将这...
2018-08-19 08:47:27
1034
4
原创 吴恩达机器学习——正规方程
Normal Equation：线性回归中需要采用梯度下降法求解最优的，实际上可以采用解析的方法直接求解其中在octave中可用pinv函数求逆，在矩阵不可逆或者不为方阵时，他也能得到想要的答案。python的scipy库中有类似函数。适用条件：1. 特征数目少，一般在10000以下认为正规方程更有优势。...
2018-08-12 20:32:10
285
原创 寻优算法——梯度下降法、牛顿法原理认识
梯度下降法、牛顿法早就知道，怎么使用也很简单，但一直没搞太明白，为什么“梯度方向就是下降最快的方向”？什么站在山顶往下走只是结果，根本没解释原因，这次终于搞清楚了，写下来以防忘记。梯度下降法对于一个函数，可能是一维或者多维的变量，给一个增量使它的值变小，要使在这一步变得最小，即下降最快，根据泰勒展开这里舍去二阶导数后面的小量，那么要取得最小的值，就要使最小，向量的内积当且仅...
2018-08-09 21:01:53
5625
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人