例子:对句子中的每个单词进行词性分析,要结合上下文才能分析准确 方案一:让全连接网络每个神经元的输入window变大,输入前后多个词汇(向量) 缺点:无法完成要考虑整个sequence的任务 方案二:加入自注意力模块,加了黑边的向量是考虑了整个sequence的资讯 b1对应上一图中加了黑边的向量,下面讲如何得到的 ai是向量,w是过渡矩阵,黑点是做点积,α‘是attention score