多模态
文章平均质量分 60
多模态相关论文阅读笔记
lanmengyiyu
github:https://github.com/lanmengyiyu
youtube:https://www.youtube.com/channel/UC5pExhZmSEsYwPOkvs3M5vA?view_as=subscriber
email:545277714@qq.com
展开
-
李沐——大模型时代下做科研的四个思路
比如作者团队的MixGen,因为在视觉领域数据增强非常有用,但在多模态中却很少有人用,因此作者吧图片-文本对用mixgen拓展,具体的方法为,图片就是两张图片mixup,文本是把两句话连接。个人认为分析类文章和综述文章都需要有个人比较新颖的观点,需要阅读大量文章做积累,数据集的构建,也需要综合考虑多种因素,但是这个方向是耗费资源最少的。而目前的思路可以是:找一个基础模型,设计一个特殊的模块,这个模块可以是为了特定任务也可以是通用任务,然后微调后对比实验效果与不微调的区别。2)调用已训练好的模型做应用。原创 2024-04-09 16:26:48 · 303 阅读 · 0 评论 -
CLIP浅谈
CLIP是OpenAI在2021年2月发表的一篇文章,它的主要贡献有以下2点:1)将图像分类问题映射为了多模态问题,也就是说他的图片标签不再是一个单词类别,而是一段文字描述,例如:“A photo of {label}”;2)利用4亿的训练数据,将待分类的图片映射为了zero-shot问题,对于新来的数据,只需要把标签记录下来,就可以直接分类,而不需要重新训练。原创 2023-11-20 15:09:24 · 514 阅读 · 0 评论