- word2vec区别于one_hot映射方法,将词向量赋予含义并映射到向量空间,通过向量减法、点乘表示两词相差、相关性。
- 两种预测模型:Cbow(周围词向量预测中间词向量)和skip-gram(中间词向量预测周围词向量)。(设计的时候,预测谁就走谁的路径,用谁预测就用谁的vector,修正谁)
- 两种训练模型:Hierachical softmax(huffman树)和negtive sampling(权重采样负例)。
- Hierachical softmax:(以Cbow为例, skip-gram的区别只是一开始和误差叠加到一个向量。)
- 用huffman树代替传统神经网络, 速度快。但是对出现频率少对词需要对路径较长,比较慢。
- 按照词频构建哈夫曼树。
- 先把周围词向量加和,然后
为预测值。
- 顺着哈夫曼树走,