大模型论文系列
文章平均质量分 96
???/cy
算法工程师,日常分享多模态领域的前沿成果,与自己工程经验的总结,问道~大模型
展开
-
异常检测 | Anomaly Detection via Reverse Distillation from One-Class Embedding |很不错的方法,可以用来找出特例!!!
本文提出了一种新的异常检测方法,名为“反向蒸馏”。该方法利用预训练的教师模型提取图像特征,并将其蒸馏到学生解码器中。学生解码器的目标是重建教师模型的多尺度特征,但由于学生模型只学习正常模式,因此无法重建异常特征,从而实现异常检测。主要贡献反向蒸馏框架: 教师模型为编码器,学生模型为解码器,打破传统蒸馏模型的结构限制,提高模型对异常的区分能力。一类别瓶颈嵌入模块: 将教师模型的高维特征压缩到低维空间,有效抑制异常特征的传播,增强异常检测效果。实验结果。原创 2024-06-15 21:36:33 · 1203 阅读 · 0 评论 -
WiSE-FT | zero-shot模型的微调 | 同时保持原始模型的鲁棒性
WiSE-FT 是一种简单有效的微调方法,可以显著提高零样本模型对分布偏移的鲁棒性,同时保持或提高目标分布上的准确性。原创 2024-06-12 11:38:54 · 913 阅读 · 0 评论 -
多模态大模型 | EVA-CLIP 蒸馏版的CLIP,效果非常好哦
EVA-CLIP: 一系列显著的提升CLIP训练时的效率和有效性。用最新的表征学习, 优化策略,增强使得EVA-CLIP在同样数量的参数下比之前的CLIP模型要好,且花费更小的训练资源。pre-trained EVA 来初始化CLIP的训练在ImageNet-1k val的成绩。原创 2024-01-08 13:55:19 · 1494 阅读 · 2 评论 -
多模态大模型 | CLIP论文总结 | 2021.02.26 OpenAI | 打通 图像-文本
即使你学习到了很好的特征,当你运用到下游任务的时候,你还是需要有标签的数据去做微调。把对比学习中的temperature这个超参数,设计为可学习的标量了,直接在模型训练过程中就被优化了,不需要当成一个超参数去调参。之前的自监督或者无监督的方法,主要研究的是特征学习的能力,他们的目标是学习一个泛化比较好的特征。现在的监督信号是一个文本,而不是n选1的这种标签了,所以模型的输入输出啊,自由度就大很多。训练出来的模型又大又好,而且又简单,泛化性又好,为多模态的训练铺平了道路。原创 2024-01-09 16:34:27 · 1167 阅读 · 0 评论 -
端到端目标检测 | 从DETR 到 GroundingDINO | 干货中的战斗机
多模态目标检测模型是如何训练的,深入浅出,从DETR 讲起 到GroundingDINO。原创 2024-05-29 19:01:35 · 1503 阅读 · 0 评论 -
天气大模型
然而,ERA5 包括降水,而 HRES 不包括。我们标记为“ERA5”的模型将降水量作为输入,并期望 ERA5 数据作为输入,而标记为“ERA5-HRES”的模型不将降水量作为输入,并经过专门训练以将 HRES-fc0 作为输入。这是因为均方误差对差异的平方进行了求和和平均,提供了一个单一的度量,用于表示模型的预测性能。这个均方误差是在垂直层级上加权平均的,说明在考虑不同层级的情况下,对误差的处理更加细致。通过调整 𝑁 的值,可以评估模型在不同时间范围内的预测性能,因为 𝑁 控制了自回归模型的步长。原创 2023-11-22 14:49:55 · 1684 阅读 · 0 评论 -
生成模型 | 从 VAE 到 Diffusion Model (下)
主要介绍了Diffusion Model的发展历程和文生图模型的基本架构,从开山鼻祖DDPM开始应用扩散模型做图片生成,到现在图像可以根据语言来做相应的生成,修改。。总之,一文让你了解diifusion model,和他的一些经典模型应用。原创 2024-05-27 14:11:34 · 1925 阅读 · 0 评论 -
生成模型 | 从 VAE 到 Diffusion Model (上)
本文深入探讨了图像生成模型的发展,从VAE到最新的扩散模型。详细介绍了各种模型的框架。请参考文章中的脑图,让您一目了然地了解AIGC的发展历程。原创 2024-05-24 10:05:41 · 1184 阅读 · 0 评论 -
多模态大模型 | GroundingDINO 论文总结
开放集目标检测器GroundingDINO,无需训练,检测任何物体的模型,效果非常好原创 2024-05-16 20:08:49 · 2654 阅读 · 0 评论