导数:理解为某处切线的斜率;
偏微分:向量,方向为各个变量的方向,对每一个变量都有一个偏微分;
梯度:向量,每个元素是在每个自变量上的偏微分;方向代表函数增长方向和增长趋势,模代表延这个方向增长的速率。
鞍点:在一个方向上取得极大值,一个方向取得极小值。
动量:momentum,理解为惯性,这样可以冲出局部极小值点,找到全局极小值点。
其他记录:
神经网络层数越深,loss函数越平滑,优化起来操作越容易进行。
导数:理解为某处切线的斜率;
偏微分:向量,方向为各个变量的方向,对每一个变量都有一个偏微分;
梯度:向量,每个元素是在每个自变量上的偏微分;方向代表函数增长方向和增长趋势,模代表延这个方向增长的速率。
鞍点:在一个方向上取得极大值,一个方向取得极小值。
动量:momentum,理解为惯性,这样可以冲出局部极小值点,找到全局极小值点。
其他记录:
神经网络层数越深,loss函数越平滑,优化起来操作越容易进行。