词向量Word2Vec
词向量在空间中的位置是平行的,word2vec可以捕捉到语言学的规律
滑动窗口
CBOW:根据context词去预测目标词。--图左
SKIP-GRAM:根据目标词去预测context词。 --图右
CBOW
one hot向量:只有一个元素是1,其余元素均为0
SOFTMAX
在机器学习和深度学习中,softmax层是一种常用于多分类问题的激活函数。它的作用是将神经网络输出的原始分数(logits)转换成概率分布,使得每个类别的概率值非负且总和为1。
skip gram
There are two main improvement methods for word2vec
。Negative sampljing
。Hierarchical softmax
负采样
去掉重复词汇的方法
滑动窗口
循环神经网络RNN
RNN变体
门控循环单元
长短期记忆网络 LSTM
这个讲得好听他的
先发布 ,会每天更新的....