word2vec-CBOW原理及实现
1.简介
word2vec用于提取embedding向量使用较多,即当结果较多时,如果使用onehot编码,每个特征会得到一个[0,0…,1,0,…0]的矩阵,维度较多,因此通过构建一个预测模型,在模型拟合效果较好时,使用内参作为对应的各特征向量。
2.模型构造
2.1 对每个特征向量(零一向量)
对于每个个长度为V(即存在v个特征)的特征向量,输入到输出如下图所示:
即通过W与W’矩阵后,输出一个与输入相同长度的矩阵,取softmax结果视为预测结果。
2.2 CBOW结构
假设每个特征长度为k,选取
原创
2021-09-19 13:56:23 ·
1371 阅读 ·
2 评论