word2vec算法带来了两个部分的不断优化,一个是权重和偏置的不断优化,一个是输入word的onehot的不断优化,这也是我们要的结果
这其中的第一点是降维的作用,原来一个词的onehot编码会有几万维,而经过word2vec后,降到了百维的级别
第二点,得到的权重和偏置其实就是个转移矩阵的作用,起到了降维的效果。而优化这个转移矩阵是为了减少降维后信息损失。
word2vec算法带来了两个部分的不断优化,一个是权重和偏置的不断优化,一个是输入word的onehot的不断优化,这也是我们要的结果
这其中的第一点是降维的作用,原来一个词的onehot编码会有几万维,而经过word2vec后,降到了百维的级别
第二点,得到的权重和偏置其实就是个转移矩阵的作用,起到了降维的效果。而优化这个转移矩阵是为了减少降维后信息损失。