1.经典之paper,虽然之前一直有了解,但是未及细读,现在终于有时间好好研究一下了。
2.首先是一个概率模型:
3.然后是两个假设条件:First, it is not taking into account contexts farther than 1 or 2 words,1 second it is not taking into account the “similarity” between words.
所以模型:
4.具体模型
4.1输入层(第一层):一个C映射,
wi
的维度是1xV,C的维度是Vxm,所以1xVxVxm=1xm;第二层tanh函数进行计算,在最后的实验中,Bengio 发现直连边虽然不能提升模型效果,但是可以少一半的迭代次数。同时他也猜想如果没有直连边,可能可以生成更好的词向量;输出层:softmax函数。
4.2目标函数
每一层的参数,和维度
最终训练的C就是我们需要的词向量
5.伪代码
6.训练的时候要找一个好点的语料库,因为自己的文本词频一般都不够。
A Neural Probabilistic Language Model笔记
最新推荐文章于 2022-03-02 14:31:56 发布