sweet_Mary的博客

参考：

计算image transformer输出query表征Z（与可学习query长度相同）与text transformer输出文本表征 t 中【CLS】token相似性，选取最大值作为图像文本对相似度。为防止信息泄露，作者使用单模态self-attention mask，query与text不能互相可见，防止从文本直接学习。

使得无标签数据可以像有标签数据一样为模型提供监督信息。这种方式能够有效利用大量的无标签数据，提高模型的泛化能力和鲁棒性。左面的红方框是Transformer支路，右面的红方框是CNN支路。双u型结构：u型CNN支路+u型Transformer支路。

这里以3*256*256的图片为例，手动推算了一遍，有问题的小伙伴可以对照着代码自己手推一遍。这是我自己手推的示意图，没明白的朋友建议先补一下注意力机制的Q、K、V，然后来看看图鸭~也是类似的，朋友们一定要自己推导一遍U-net，这个后面的内容看起来就会很轻松。类（水个字哈哈哈）---两个卷积层、批量归一化和ReLU激活函数。由两个连续卷积层（可选批量归一化）和ReLU激活函数组成的模块。网络结构，包括编码（下采样）和解码（上采样）部分。普通的卷积模块（两个卷积层和批归一化层）类---上采样卷积块。

医学影像