- 博客(4)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Skip-gram负采样原理及代码实现（pytorch）
绝大多数的词向量学习模型本质都是建立在词和其上下文之间的联系。比如我们常见的CBOW模型，是根据上下窗口中的词的合集作为输入去预测目标词，即，其中其中的k为超参数文本窗口大小。而skip-gram模型在此基础上做了进一步的简化，使用中的每一个词作为独立的上下文对目标词进行预测。因此skip-gram模型可以用于建立词与词之间的共现关系，即，其中。
2023-05-12 17:58:27
1651
1
原创 讲一下自注意力机制的原理，参考李宏毅老师的视频
sequence_length是句长，而一个 mini-batch 是由多个不等长的句子组成的，我们需要按照这个 mini-batch 中最大的句长对剩余的句子进行补齐，一般用 0 进行填充，这个过程叫做 padding。自注意力机制，就是一个句子中的每一个词都当成，q，k，v参与计算，假设你输入的句子通过word embedding层得到了I矩阵，由a1，a2....ai组成，其中a1，a2....ai都是词向量。k：key，目标词周围的词，也可以说是上下文，你，人。有些人可能要问了，这个。
2023-04-24 15:57:30
169
原创 关于混淆矩阵和ROC的一些东西
FP:false positive,真实是negative,模型预测结果是positive,也被称为统计学上第一类错误。FN:false negative,真实是positive，模型预测结果是negative，也被称为统计学上第二类错误。通过遍历所有阈值，TPR和FPR所绘制成的曲线就叫ROC曲线，其中FPR为横坐标，TPR为纵坐标，如下图所示。TN:true negative，真实是negative，模型预测也是negative。，recall，也就是真实正样本中被预测为正的比例。假正率：1-特异度，
2023-04-24 09:14:41
115
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人