NLP语言模型
文章平均质量分 95
王菜菜在努力
菜鸟研究生学习笔记
展开
-
菜菜我也能看懂Transformer了
Transformer1、自注意力机制2、模型架构3、详看模型架构原创 2023-04-19 21:34:42 · 240 阅读 · 0 评论 -
菜菜学懂了word2vec,有代码耶
以上下文词汇预测当前词』架构被称为连续词袋(CBOW),还有另一种架构,刚好反过来,根据当前词推测当前单词可能的前后单词,这种架构就是所谓的Skipgram架构 负采样:自然语言处理领域中,判断两个单词是不是一对上下文词(context)与目标词(target),如果是一对,则是正样本,如果不是一对,则是负样本。采样得到一个上下文词和一个目标词,生成一个正样本(positive example),生成一个负样本(negative example),则是用与正样本相同的上下文词,再在字典中随机选择一个单词,这原创 2023-03-31 16:13:27 · 209 阅读 · 0 评论