《基础知识》梯度更新和防止过拟合 导数(derivate) 偏导数(partial derivate) 梯度 极小值 影响优化器表现的因素 局部最小值(local minima) 鞍点(saddle point) 初始值(initialization status) 学习率(learning rate) 动量(momentum) 降低过拟合(reduce overfitting) 扩大数据(more data) 限制模型复杂度 减少模型层数(shallow) 正则化(regularization)或叫权重衰减(weight decay) 随机失活(dropout) 数据增强(data argument) 早停法(early stopping) 部分知识来自B站[AI前沿与CV技术干货] 导数(derivate) 一个函数的导数定义为在一个函数在x处的变化量/变化率 导数是一个标量,反应了一个函数变化的程度 f ( x ) = x 2 (1) f(x)=x^2\tag1