qq_30067751的博客

用心努力反向传播语义表达序列建模一、反向传播1、前情提要神经网络的模型： y=f(x)=σ(WL...σ(W2σ(W1x+b)))y=f(x)=\sigma(W^L...\sigma(W^2\sigma(W^1x+b))) 不同的W,b对应着不同的模型，重新定义模型为f(x,θ)f(x,\theta) θ={W1,b1,W2,b2,...WL,bL}\theta=\{W^1,b^1,W^

用心努力回顾word2vecGloveWord Vector Evaluationsoftmax与cross entropy一、回顾省略。。。。。。。二、word2vec1、引言word embedding方法，可以从未标记的training corpus构造这其中每个词的vector，来表征其语义，vector的用处：可以计算两个词的相似度可以作为一个包含语义的重要特征不断更新2