NLP
扬州小栗旬
这个作者很懒,什么都没留下…
展开
-
Naive Softmax&Negative Sampling
Naive Softmax&Negative Sampling Naive Softmax 损失定义为: J=−logexp(uoTvc)∑w=1Vexp(uxTvc)=−logexp(uoTvc)+log∑w=1Vexp(uxTvc)=−uoTvc+log∑w=1Vexp(uxTvc) \begin{aligned} J &= -\log \frac{exp(u_o^Tv...原创 2019-09-20 15:56:21 · 875 阅读 · 2 评论 -
RNN Vanishing Gradient
RNN Vanishing Gradient RNN Forward Propagation: h(t)=σ(Whh(t−1)+Wxx(t)+b1)y^(t)=softmax(Wsh(t)+b2)) \mathbf{h}^{(t)} = \sigma(\mathbf{W}_h \mathbf{h}^{(t-1)}+\mathbf{W}_x \mathbf{x}^{(t)}+\mathbf{b}_1...原创 2019-09-26 13:16:40 · 160 阅读 · 0 评论