这学期开始学习nlp 准备开个专题 记录下学习过程, 今天来讲讲 rnn。 大家都知道 cnn在cv大放异彩,rnn则在 nlp领域被广泛使用。
RNN 适合处理序列的神经网络,序列的意思打个比方就是一个词汇他的意思是随着上下文变化的。
y 则常常使用 h’ 投入到一个线性层(主要是进行维度映射)然后使用softmax进行分类得到需要的数据。
Vanishing gradient
tanh: tanh是双曲函数中的一个,tanh为双曲正切。在数学中,双曲正切“tanh”是由双曲正弦和双曲余弦这两种基本双曲函数推导而来。
If x not in [-2,2 ] gradient is almost 0