![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
信号傅老师
这个作者很懒,什么都没留下…
展开
-
softmax
(picture from CS231n)原创 2019-12-21 10:02:11 · 150 阅读 · 0 评论 -
标准梯度下降法
标准梯度下降法梯度下降法是一种迭代算法,用于解无约束问题,每一步要解目标函数的梯度向量。一阶泰勒展开设f(x)f(x)f(x)具有一阶连续偏导数,若第k次的迭代值为x(k)x^{(k)}x(k),则在x(k)x^{(k)}x(k)处的一阶泰勒展开为f(x)=f(x(k))+gkT∗(x−x(k))f(x)=f(x^{(k)})+g_{k}^{T}*(x-x^{(k)})f(x)=f(x...原创 2019-07-09 16:50:24 · 1156 阅读 · 0 评论 -
优化算法之牛顿法
牛顿法和梯度下降法一样,都是解无约束优化问题,也是迭代算法,有收敛速度快的优点。每一步迭代都要求解目标函数的海塞矩阵,计算比较复杂,拟牛顿法通过正定矩阵来近似海塞矩阵的逆矩阵或海塞矩阵,简化了计算。...原创 2019-07-09 18:20:29 · 191 阅读 · 0 评论