Attention

x:待测样本 xi：已有样本   a相当于测量两个样本的相似度  根据已有样本的标签做预测

pooling整合的motivation是找出最大响应的那些值，去抑制没有响应的值 如图像背景

数据清洗

小x相当于query X相当于key 计算相似度 来筛选

feature embeding的思想：把很多样本做一个整合，这个特征向量中包含很多信息

attention------softmax　　　用ｓｏｆｔｍａｘ对ａｔｔｅｎｔｉｏｎ进行建模

应用领域：单词 句子

attention 在图像上边  就是对像素进行加权 query就是每个像素 key 就是像素周围的样本

像self-attention 关注的是图像内部  像素跟周围上下文context之间的关系

没有考虑attention和attention之间的关系

query相当于问题  key相当于那些句子　通过ｑｕｅｒｙ跟ｋｅｙ的关系做一个结果的预测

关注attention和attention之间的关系

海跟船的关系相当于一种attention，最后还要作用在ｓｅａｓｅａ上　加深ｓｅａ的判别率　。相当于ｓｅｌｆ－ａｔｔｅｎｔｉｏｎ

ｑｕｅｒｙ跟ｋｅｙ计算ｗｅｉｇｈｔｓ然后ａｔｔｅｎｔｉｏｎ作用在自身　　，挖掘图像中实例跟实例之间的关系，这种关系还要作用在自身特征增强方面

ａｔｔｅｎｔｉｏｎ可解释性差　因为很难讲清楚学到的关系　通过权值的高低来表达　但具体跟任务　如何是相关联的

在ｖｑａ　语言是好解释的　　但是在视觉上可解释行差　结合ｍｅａｎｉｎｇ　因果关系　会不会好些？

 

ＳＴＮ也是用了attention　可以看一下

attention打破了ｘ　ｙ之间的关系　ｙ可能跟一堆ｘ相关　在图像上　ｙ可能跟上下文相关

ａｔｔｅｎｔｉｏｎ打破了local和ｎｏｎ－ｌｏｃａｌ的方式　来算一种权值，

进一步挖掘样本空间潜在的关系，是一种新的思路