机器学习
信号傅老师
这个作者很懒,什么都没留下…
展开
-
softmax
(picture from CS231n)原创 2019-12-21 10:02:11 · 123 阅读 · 0 评论 -
标准梯度下降法
标准梯度下降法 梯度下降法是一种迭代算法,用于解无约束问题,每一步要解目标函数的梯度向量。 一阶泰勒展开 设f(x)f(x)f(x)具有一阶连续偏导数,若第k次的迭代值为x(k)x^{(k)}x(k),则在x(k)x^{(k)}x(k)处的一阶泰勒展开为 f(x)=f(x(k))+gkT∗(x−x(k)) f(x)=f(x^{(k)})+g_{k}^{T}*(x-x^{(k)}) f(x)=f(x...原创 2019-07-09 16:50:24 · 1122 阅读 · 0 评论 -
优化算法之牛顿法
牛顿法 和梯度下降法一样,都是解无约束优化问题,也是迭代算法,有收敛速度快的优点。每一步迭代都要求解目标函数的海塞矩阵,计算比较复杂,拟牛顿法通过正定矩阵来近似海塞矩阵的逆矩阵或海塞矩阵,简化了计算。 ...原创 2019-07-09 18:20:29 · 183 阅读 · 0 评论