稀疏注意力、交叉注意力

稀疏注意力
像一般的注意力，往往都是全局的，比如我们把一张100X100的图，分成了10X10的patchers，每个patchers当成一个输入，那么一般的注意力就是把这个输入和其他99个输入比较（有些时候是像素级别的比较，就是1个像素和9999个像素比较）这种情况就非常消耗资源。
而稀疏注意力，就是这个输入只需要考虑与当前输入相关的关键patcher或者像素。那怎么知道是否是相关的呢?我们就可以通过，卷积网络中的注意力机制，或者对图像的分层。这种情况下，我们就可以大大减少资源的浪费，同时还能保持准确度

交叉注意力
交叉注意力则是能够融合多个来源的信息、处理跨模态数据等。
比如在nlp中，我要确定两句话的关联，我就可以将一句话作为输入，qk，另一句话作为额外的输入，v，来比较两句话的关系。
比如在图像处理中，我提前预处理出一批特征，然后将训练图片的patcher输入到cross attention中，来比较这个patcher和我预训练的特征哪个更相似。