OCR
主要聚焦于机器学习、深度学习的模型求解、算法优化等模块涉及的基础知识!
ReLuJie
计算机视觉.
展开
-
Optimizer的数学原理
SGD 与全量梯度下降相比,SGD的特点如下: 优点 : 由于每次只涉及一个样本,因此梯度计算速度很快; 缺点 : 每次计算梯度时只受单个样本的影响,所以导致梯度的准确度下降,可能会导致loss曲线的震荡 改进方案 : 可以采用MinB...原创 2019-03-02 19:51:03 · 701 阅读 · 0 评论 -
优化基础--梯度、梯度下降、牛顿法
梯度 首先来看单变量连续函数导数的定义: 它表示函数f(x)在某点的切线斜率或者变化率。对于多变量的连续函数,我们则关注它的偏导数。我们以二元函数f(x,y)为例, 表示y保持不变,f(x,y)沿x轴的变化率; 表示x保持不变,f(x,y)沿着y轴的变化率...原创 2019-11-10 22:18:37 · 273 阅读 · 0 评论