![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
多模态
文章平均质量分 90
AI每天一点点
可以咨寻【AI交叉学科、SCI、CCF-ABC、期刊、会议、本硕博论文、在职论文指导、Kaggle带队拿牌、 润色发刊等 】白嫖人工智能学习资源包
展开
-
浙大、腾讯团队发布科学LLM大规模评测基准,国产大模型表现亮眼
在专业领域知识测试中,此类领域大模型整体表现优秀,特别是百亿参数的ChemDFM-13B,不仅全面领先其他开源模型,其化学水平也整体逼近 GPT-4o、Gemini1.5-Pro 等千亿甚至万亿参数的通用大模型,显示出垂域科学大模型的优势。由此可以认为,对于这些模型来说,L5 评测的是在已训练任务上的能力,而 L1-L4 则更多的评测 LLM 的通用能力(指令遵循和任务泛化的能力等)。*数值较小表示排名较高。表中粗体字标示的是所有模型中的最佳表现,带下划线的是次优表现,蓝色标示的是开源模型中的最佳表现。原创 2024-07-04 15:59:52 · 805 阅读 · 0 评论 -
大语言模型助力基于CLIP的分布外检测任务
在这项工作中,我们提出了一种名为Envisioning Outlier Exposure (EOE) 的分布外检测方法,该方法利用通过利用大型语言模型 (LLM) 的专家知识和推理能力来想象潜在的异常值暴露,从而提升VLMs的OOD检测性能 (如图1 (c) 所示),同时无需访问任何实际的 OOD 数据。实验表明,我们设计的得分函数和基于视觉相似性原则设计的LLM prompt获得了最优的性能,并且我们的方法在不同的LLM和不同长度的潜在OOD 类标签数量上都获得了优异的表现。原创 2024-07-04 15:52:28 · 735 阅读 · 0 评论 -
多模态大模型+时间序列创新方案,刷新SOTA
⑵基于提出的流程,创建了一个基于GDELT的多模态时间序列预测数据集,该数据集包含时间序列数值和事件的文本摘要。时间序列数据与多模态数据的结合预测模型是一种新兴的数据分析方法,它结合了时间序列分析和多模态学习的技术,通过整合不同类型的数据(如文本、图像、音频等)来提高预测的准确性和鲁棒性。:论文提出了一种创新的多模态时间序列方法(MTM),通过融合直播流中的文本、音频和视觉信息,并利用正交投影模型(OP)和可堆叠的联合表示层,有效提高了对观众赠送行为的实时预测准确性,同时确保了模型的鲁棒性和可迁移性。原创 2024-07-02 13:41:53 · 906 阅读 · 0 评论 -
多模态学习:多模态大模型(医疗影像分析)
多模态学习允许机器从多种不同的数据源学习,例如,可以从图像和文本中同时学习,这样可以让模型更好地理解世界。它的核心在于处理和分析多源异构数据,提取深层次的概念、语境和关联性。原创 2024-04-12 11:58:42 · 1609 阅读 · 0 评论