–0519今天0430起床的，早上开始看cs224n，感觉老师好可爱！
现在开始读论文啦！
一、Unicorn
—0558感觉还是有创新的！但是一时间说不上来？可能是时间与关系在溯源图中的综合？？？先干饭！
–0621吃饭的时候看了cs224n，讲的很细。主要讲了word2vec，具体是如何去做word2vec这件事。
1、用中心词预测周围词
2、用两套向量，分别表示这个词作为中心词和作为周围词时的向量表示
3、优化目标：预测准确----》数学表达：P（预测的周围词|已知的中心词）=把所有词都当做中心词这样做一遍【两词之间的相似度/(字典中所有词和已知中心词的相似度求和)】
这里用两词之间的相似度近似其被预测的可能性，也就是认为，如果两词越相近，就越可能被预测出。
我们希望优化目标越大越好，通过一系列变换（加负号，除以整个字典大小），变成最小化问题，用梯度下降解决（看这意思，老师好像想开始讲梯度下降了，好细啊）
----0627继续读论文，今天读完background就去撸代码!
—0720看到不少专业词汇，好困，想趴一会。。。
—0746复习一下昨天框架的api，就去收拾宿舍了！
注意：
1、ReLU的大小写
2、normal是在torch.init中的
3dropout的手撕和简洁实现
（1）简洁实现
最低0.47元/天 解锁文章
410
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
