有三种输入输出对应类型,今天只说第一种类型:
如果要做词性标注,对于Fully-connected来说两个saw都是一样的这就会让事情变得很困难
我们就要用到sel-attention,第二层每个方框都是考虑了第一层的所有方框:
可以让fully conncted和self-attention交替使用,FC专门处理某一个位置的咨询,而self-attention处理整个sequence的咨询。
这个a可能是原始输入也有可能是隐层输出:
生成b1的话需要考虑a1和a2以及a3和a4的相关联性考虑哪些是对a1影响重要的,给它一个数值a表示相关性:
我们这里讲用最传统的方法Dop-product怎么产生a:
这里a1的query和每一个的key做计算,最后这个softmax可以换成relu以及其他的:
计算出a1‘之后,我们就要让和每一个的value进行相乘,这样注意力得分高的内容就会更重要