此为个人学习笔记,如有侵权,请联系删除
Attention
1、目的:Attention利用有限的注意力资源从大量信息中快速筛选出高价值信息(或者说是对当前任务目标更关键的信息)
2、注意力模型可以看作一种通用的思想,本身并不依赖于特定框架,目前大部分注意力机制都附着在Encoder-Decoder框架下,加入Attention机制的E-D模型就是把中间语义量身定制了,每个都不一样
3、Attention的求解:第一个过程是根据Query和Key计算权重系数,第二个过程根据权重系数对Value进行加权求和。而第一个过程又可以细分为两个阶段:第一个阶段根据Query和Key计算两者的相似性或者相关性;第二个阶段对第一阶段的原始分值进行归一化处理
4、Self Attention:可以捕获同一个句子中单词之间的一些句法特征或者语义特征,比如RNN或者LSTM中距离长可能语义就会丢失,而Self Attention可以轻松解决。Self Attention对于增加计算的并行性也有直接帮助作用
一、Paper:《Recurrent Models of Visual Attention》
二、Blog:深度学习中的注意力模型(2017版)
Transformer
1、残差链接:通常用于解决多层网络训练的问题,可以让网络只关注当前差异的部分。
Skip connect的作用:(1)残差连接可以降低模型复杂度以减少过拟合(2)残差连接可以防止梯度消失
Skip connect的思想:将输出表述为输入和输入的一个非线性变换的线性叠加,没用新的公式,没有新的理论,只是换了一种新的表达。Y = H(x,WH) + X
2、Transformer的作用:基于Transformer的架构主要用于建模语言理解任务,它避免了在神经网络中使用递归,而是完全依赖于self-attention机制来绘制输入和输出之间的全局依赖关系。
一、Paper:《Attention Is All You Need》
二、Blog:Transformer模型详解
三、Blog:Resnet中的残差连接,你确定真的看懂了?
四、Blog:【关于Transformer】 那些的你不知道的事
表示学习
当我们学习一个复杂概念时,总想有一条捷径可以化繁为简。机器学习模型也不例外,如果有经过提炼的对于原始数据的更好表达,往往可以使得后续任务事倍功半。这也是表示学习的基本思路,即找到对于原始数据更好的表达,以方便后续任务(比如分类)。
特征工程就是一个把原始数据转变成特征的过程,这些特征可以很好的描述这些数据,并且利用它们建立的模型在未知数据上的表现性能可以达到最优(或者接近最佳性能)。从数学的角度来看,特征工程就是去设计输入变量X。