贪心科技SkipGram 2020.4.3笔记

Skip-Gram模型理解
老铁整理的视频
明天补吧，搞不定了
独热编码不能表达两个单词相似度
不等同于词向量
独热用01稀疏向量，分布式用稠密向量
可以说分布式表示有一种含义
希望machine与apple相似度大于apple的相似度
区别：独热----》向量大小是词库大小
分布式----》长度可以设定，也就是超参数的作用

得到不同单词的词向量，句子用平均

第三个区别：容量
100维独热最多100不同单词
分布式100维可以表示无穷多单词，每一位有无穷可能
如何学习词向量：
需要模型，也就是词向量的模型，有很多
MF：矩阵分解
SkipGram很合适初学
希望学出每一个单词的词向量，找出单词关系
离越近，相似度 （可能）越大（不是所有情况）（反正相关性要大）
1.去掉knowleg之后，希望利用周围信息预测
2.用know预测周围单词
刚好是相反的过程，一个是CBOW 一个是SkipGram

希望通过中心词（窗口大小）预测周边单词
从左到右有个滑动窗口

。