更新梯度时,如果是对同一个变量记得是+,不要直接等于,第二次犯错误了。
神经网络更新梯度时,针对的是nerons,在skip gram中,因为输入层就是v_c,所以求梯度时和neron一致,
但是在cbow中,输入层是neighbor的v_i球和,所以neron是和,而对其中的每个分量来说,由于chain rule,
加法时,梯度为1,所以队每个分量也和neron是一致的。但是加入不是加法,是其他的,就需要改变一下了。
更新梯度时,如果是对同一个变量记得是+,不要直接等于,第二次犯错误了。
神经网络更新梯度时,针对的是nerons,在skip gram中,因为输入层就是v_c,所以求梯度时和neron一致,
但是在cbow中,输入层是neighbor的v_i球和,所以neron是和,而对其中的每个分量来说,由于chain rule,
加法时,梯度为1,所以队每个分量也和neron是一致的。但是加入不是加法,是其他的,就需要改变一下了。