最大的作用是打破固定类别的分类,实现zero-shot 不需要像imagenet一样啊做1000类,或者像Coco一样做80类 在进行识别新物品(不一定要原来数据集中拥有的)时,只需要添加对应的新标签进去即可识别
实现图片特征与文字特征的相似度计算,label只需要对角线的一对图片与文字
扩展应用包括:ai绘图,视频检索,文本生成等
最大的作用是打破固定类别的分类,实现zero-shot 不需要像imagenet一样啊做1000类,或者像Coco一样做80类 在进行识别新物品(不一定要原来数据集中拥有的)时,只需要添加对应的新标签进去即可识别
实现图片特征与文字特征的相似度计算,label只需要对角线的一对图片与文字
扩展应用包括:ai绘图,视频检索,文本生成等