- 博客(4)
- 收藏
- 关注
RSS订阅原创 Word2Vec-------CBOW连续词袋模型
Word2Vec原理Word2vec使用单个隐藏层，完全连接的神经网络如下所示。隐藏层中的神经元都是线性神经元。输入层设置为具有与用于训练的词汇中的单词一样多的神经元，即整个词表大小V。隐藏图层大小设置为生成的单词向量的维度，可以理解为词嵌入中单词的稠密矩阵表达。输出图层的大小与输入图层相同。因此，假设用于学习单词向量的词汇表由V个单词组成并且N为单词向量的维度(每个单词拥有N个特征)，则对隐藏层连接的输入可以由大小为VxN的矩阵WI表示，其中每行表示词汇单词。以相同的方式，可以通过矩阵WO来描述从隐藏
2022-03-26 10:13:28
1889
原创 Word2Vec-------skip-gram跳字模型
1.什么是Skip-gram算法Skip-gram算法就是在给出目标单词（中心单词）的情况下，预测它的上下文单词（除中心单词外窗口内的其他单词，这里的窗口大小是2，也就是左右各两个单词）如下图图中love是目标单词，其他事上下文单词，分别对其上下文中出现的概率进行预测，p(you|love),p(do|love),p(),等等2.定义在这里设定一些定义d : 为词向量的维度,如[0.3,0.4,0.5,0.6] 用这一词向量来表示单词v： 词汇表中的单词数，即词汇表维度vc： 该目标
2022-03-24 21:59:45
1069
转载 多头自注意力机制
本文为《Attention Is All You Need》精读中的一个拓展 论文- 《Attention Is All You Need》 为了学到多重语意含义的表达，进行多头注意力机制的运算。不要被这个多头注意力给吓住，其实这里面就是用到了几个矩阵运算，先不用管怎么运算的，我...
2022-03-17 18:43:52
6685
2
原创 个人理解自注意力
小白理解自注意力机制最近在学习多头自注意力机制的用法，总结一些个人的总结与看法，希望可以帮到以后想学习这一部分的码友们，嘿嘿嘿什么是注意力机制注意力机制是上世纪九十年代，一些科学家在研究人类视觉时，发现的一种信号处理机制。人工智能领域的从业者把这种机制引入到一些模型里，并取得了成功。目前，注意力机制已经成为深度学习领域，尤其是自然语言处理领域，应用最广泛的“组件”之一。具体作用是人们在机器学习模型中嵌入的一种特殊结构，用来自动学习和计算输入数据对输出数据的贡献大小，以及某一特征与结果之间的关联性。
2022-03-14 20:40:25
3034
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人