梯度下降法:求局部最小值,若为凸函数,所求为全局最小值
以下山路径为例,设路径为,即表示目标函数,目的地是最低点,需要解决的问题为中间如何走。在当前位置求偏导,即梯度,正常的梯度方向类似于上山的方向,是使值函数增大的,下山最快需使最小,从负梯度求最小值,即为梯度下降,梯度下降是求偏导的负值。每走一步,继续求解当前位置的偏导数,重复,当走到了最低点,能得到一个近似最优解。
感受野:卷积神经网络每一层输出的特征图 (feature map) 上的像素点在原始图像上映射的区域大小。
efficientnet:通过固定比例缩放网络的宽度,深度和图像大小