CLIP网络结构解析 openai/CLIP (Contrastive Language-Image Pre-Training)

1、简单介绍

CLIP是openai公司提出的网络，可以处理文本和图像，是一个多模态网络，对多模态的研究具有一定的推动作用。作为学习，记录一下对CLIP的理解。

clip的官方网站：
https://openai.com/research/clip
clip的GitHub网址：
https://github.com/openai/CLIP

2、网络结构解析

如图是代码中定义的CLIP类

代码：

class CLIP(nn.Module):
    def __init__(self,
                 embed_dim: int,
                 # vision
                 image_resolution: int,
                 vision_layers: Union[Tuple[int, int, int, int], int],
                 vision_width: int,
                 vision_patch_size: int,
                 # text
                 context_length: int,
                 vocab_size: int,
                 transformer_width: int,
                 transformer_heads: int,
                 transformer_layers: int
                 ):
        super().__init__()

        self.context_length = context_length

        if isinstance(vision_layers, (tuple, list)):
            vision_heads = vision_width * 32 // 64
            self.visual = ModifiedResNet(
                layers=vision_layers,
                output_dim=embed_dim,
                heads=vision_heads,
                input_resolution=image_resolution,
                width=vision_width
            )
        else:
            vision_heads = vision_width // 64
            self.visual = VisionTransformer(
                input_resolution=image_resolution,
                patch_size=vision_patch_size,
                width=vision_width,
                layers=vision_layers,
                heads=vision_heads,
                output_dim=embed_dim
            )

  

从代码中可以看到，CLIP的init包含 vision 和 text，分别对应 视觉图像输入 和 文本输入。

而且CLIP包含两种结构，一个是 ModifiedResNet，另一个是 VisionTransformer
也就是CLIP的图像处理是分别采用了 ResNet 和 ViT 的结构，其中resnet的输出采用qkv结构，所以网络中还单独定义了transformer:

self.transformer = Transformer(
            width=transformer_width,
            layers=transformer_layers,
            heads=transformer_heads,
            attn_mask=self.build_attention_mask()
        )

从CLIP的forward函数，可以看出CLIP的数据处理方式：

def forward(self, image, text):
        image_features = self.encode_image(image)
        text_features = self.encode_text(text)

        # normalized features
        image_features = image_features / image_features.norm(dim=1, keepdim=True)
        text_features = text_features / text_features.norm(dim=1, keepdim=True)

        # cosine similarity as logits
        logit_scale = self.logit_scale.exp()
        logits_per_image = logit_scale * image_features @ text_features.t()
        logits_per_text = logits_per_image.t()

        # shape = [global_batch_size, global_batch_size]
        return logits_per_image, logits_per_text

self.encode_image(image) 和 self.encode_text(text) 分别对图像和文本进行编码，随后 normalized features 分别做归一化处理，接着 cosine similarity as logits 计算图像和文本特征的相似性。

从上可以看出，CLIP基本上是在传统的图像特征提取上，加上了文本进行读取和特征处理，最后将图像特征 和 文本特征 进行相似度对比 以建立图像和文本的 关联。