李宏毅深度学习笔记
文章平均质量分 89
zghnwsc
这个作者很懒,什么都没留下…
展开
-
李宏毅机器学习2021笔记—self-attention(下)
这里是李宏毅机器学习2021笔记self-attention的下篇。如果没看过上篇,可以先看上篇李宏毅机器学习2020笔记-—self-attention(上)。学习本节内容,需要一定的基础知识储备。之前我们已经介绍了,怎么根据input的一排a,得到一个b1.这里需要强调一点,b1到b4,并不需要按顺序。(这里就不再赘述怎么得到b1了)这里我们从矩阵乘法的角度再来看一遍b是怎么产生的。每一个a,都分别要产生不同的q,k,v。要用矩阵运算表示的话,就是每一个a都要乘上一个wq,这里我们可以把.原创 2021-04-22 11:50:45 · 746 阅读 · 0 评论 -
李宏毅机器学习2021笔记—self-attention(上)
本文为李宏毅老师机器学习2021的self attention一节的学习笔记,接在CNN之后。学习本节之前,需要有一定的基础知识。self attention解决的问题到目前为止,我们network的input都是一个向量,输入可能是一个数值或者一个类别。但是假设我们需要输入的是一排向量,并且向量的个数可能会发生改变,这个时候要怎么处理。比如文字处理的时候:比如我们输入词汇,每个词汇都相当于一个向量,我们可以用很长的一个向量,来表示世界上所有的东西,但是这里有一个问题,就是它假设所有的词汇都是没.原创 2021-04-21 23:26:10 · 1853 阅读 · 0 评论