多模态大模型学习路线

已于 2025-04-05 14:48:43 修改
阅读量627 收藏 3
点赞数 15
分类专栏： 多模态大模型MLLMs 文章标签： 学习
于 2025-04-05 14:22:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51175703/article/details/147010906
版权

学习目标

  • 多模态大模型（MLLMs）系统知识

学习内容

1. 主流多模态大模型

2. MLLMs 数据工程

3. MLLMs 训练（预训练、后训练、继续训练）

4. MLLMs 微调技术

6. MLLMs 检索增强（MLLMs RAG）

7. MLLMs 推理与加速

8. MLLMs 信息处理技术（表征学习、模态对齐、检索、转换、跨模态融合）

9. MLLMs 评测体系

10. MLLMs 实践项目

学习平台

小结

        MLLMs 日更中......

一文读懂「MLLM，Multimodal Large Language Model」多模态大语言模型
女王の专属领地
01-09 6079
模态是事物的一种表现形式，多模态通常包含两个或者两个以上的模态形式，是从多个视角出发对事物进行描述。生活中常见多 模态表示，例如传感器的数据不仅仅包含文字、图像，还可以包括与之匹配的温度、深度信息等。使用多模态数据能够使得事物呈现更加立体、全面，多模态研究成为当前研究重要方面，在情感分析、机器翻译、自然语言处理 和生物医药前沿方向取得重大突破。MLLM通常以大语言模型(Large Language Model，LLM)为基础，融入其它非文本的模态信息，完成各种多模态任务。MLLM定义为“
多模态大模型主流架构模式的演化历程
python122_的博客
08-13 1625
近年来,随着深度学习技术的飞速发展,多模态学习逐渐成为人工智能领域的研究热点。与单一模态不同,多模态学习旨在利用不同模态数据(如文本、图像、音频等)之间的互补信息,构建更加全面、准确的智能模型。多模态融合是实现多模态学习的关键,其目标是在特征或决策层面实现不同模态表示的有效整合。然而,设计高效的多模态融合架构仍面临诸多挑战,如模态间的异构性、语义鸿沟、数据预处理与对齐等。针对这些挑战,学术界提出了多种多模态模型架构,并在图像描述、视频问答、语音识别等任务上取得了瞩目成果。但不同架构在融合方式、融合阶段等方面
大模型学习路线之多模态模型
2401_86435672的博客
10-07 1835
​ （Frankly speaking，博主太懒了）章节一只对CLIP、BLIP、BLIP2、InstructBLIP进行了整理，章节二以CLIP、VisualGLM作为实践案例。​ 实际上多模态模型除了CLIP、BLIP、BLIP2、InstructBLIP，还有LLaVA、miniGPT4，以及国内清华的VisualGLM、阿里的Qwen-VL等。（更多多模态原理可以看文末的参考说明）一、多模态模型 & 理论。
大模型学习路径之多模态模型学习路线分享，很强很全！
2401_84494441的博客
12-02 2776
（Frankly speaking，博主太懒了）章节一只对CLIP、BLIP、BLIP2、InstructBLIP进行了整理，章节二以CLIP、VisualGLM作为实践案例。实际上多模态模型除了CLIP、BLIP、BLIP2、InstructBLIP，还有LLaVA、miniGPT4，以及国内清华的VisualGLM、阿里的Qwen-VL等。（更多多模态原理可以看文末的参考说明）一、多模态模型 & 理论。
多模态大模型是新一代人工智能技术范式
热门推荐
weixin_43178406的博客
05-02 5万+
 本文主要介绍了推开通用人工智能大门，多模态大模型是新一代人工智能技术范式，希望能对学习大模型的同学们有所帮助。 文章目录 1. 前言 2. 书籍推荐 2.1 内容简介 2.2 本书作者 2.3 本书目录 2.4 适合读者
大模型学习路线入门实战项目推荐：多模态大模型、医学人工智能与大模型、数字人定制
m0_63171455的博客
12-03 1667
依托 aistudio 平台内容，章节一呈现了一个入门级demo（小白友好），以VisualGLM（多模型大模型）为例实现了图生文；章节二呈现了一个进阶版demo（适合有一定LLM基础的人群食用），以文心大模型（LLM+RAG）为例实现了金融知识库问答（参考aistudio上精品项目）；章节三推荐了数个综合级、系统化的项目（适合从事/预从事 LLM/AIGC 岗的人群食用），把每个项目深挖吃透后，基本可以从事相关岗。
​浅析多模态大模型技术路线梳理
aolan123的博客
09-05 2099
前段时间 ChatGPT 进行了一轮重大更新：多模态上线，能说话，会看图！微软发了一篇长达 166 页的 GPT-4V 测评论文，一时间又带起了一阵多模态的热议，随后像是 LLaVA-1.5、CogVLM、MiniGPT-5 等研究工作紧随其后，到处刷屏。大模型的多模态能力到底是怎么来的？今天来分享一下多模态相关的一些工作和个人的理解。CLIP 是由 OpenAI 在 2021 年提出的预训练模型，用于评估给定图像与给定文本描述的匹配程度。该模型使用大量（约 4 亿）从网页中爬取的图像-文本对(pair)数
多模态大模型完全指南：从入门到实践的全景学习路线
深耕嵌入式领用多年， 致力于分享嵌入式领域技术!
02-25 997
多模态大模型完全指南：从入门到实践的全景学习路线
多模态大模型技术白皮书 2024
2401_85379281的博客
08-06 1582
不同于语言大模型只对文本进行处理，多模态大模型将文本、语音、图像、视频等多模态数据联合起来进行学习。多模态大模型融合了多种感知途径与表达形态，能够同时处理和理解来自不同感知通道（例如视觉、听觉、语言和触觉等）的信息，并以多模态的方式表达输出。现有的多模态大模型主要有面向理解任务的、面向生成任务的、兼顾理解和生成的、知识增强的多模态大模型。面向理解任务的多模态大模型，其核心结构通常是 基于Transformer 的编码器。按照模型结构的不同，面向理解任务的多模态大模型又可再分为单流和多流两种结构。
多模态大模型
2402_84466582的博客
06-17 737
首先，数据融合是一个关键问题，不同模态的数据具有不同的特征和表示方式，如何有效地将它们融合起来是一个难题。多模态大模型是一种能够处理多种媒体数据类型的模型，它通过将不同模态的数据进行联合训练，学习它们之间的关联，从而提高模型的性能和泛化能力。是一种基于深度学习的机器学习技术，其核心思想是将不同媒体数据（如文本、图像、音频和视频等）进行融合，通过学习不同模态之间的关联，实现更加智能化的信息处理。总之，多模态大模型通过融合不同模态的数据，实现了更全面、更智能的信息处理，为多个领域带来了革命性的变革。
13个开源多模态大模型汇总！
2401_84204207的博客
03-17 2856
近年来，多模态大模型（Multimodal Large Language Models, MLLMs）在人工智能领域取得了显著的进展，特别是在自然语言处理、计算机视觉和多模态理解方面。这些模型能够理解和生成多种类型的数据，如文本、图像、音频和视频，为多模态学习和应用提供了强大的工具。今天给大家汇总了13个开源多模态大模型，这些模型在各自的领域中刷新了多个SOTA记录，每个模型都将附上相关的论文和代码，一起看看多模态大模型的最新研究成果吧！NExT-GPT：任意对任意多模态 LLM。
SOTA多模态大模型！13个开源模型汇总，附论文和代码_开源多模态大模型
2401_85377976的博客
07-10 4278
近年来，多模态大模型（Multimodal Large Language Models, MLLMs）在人工智能领域取得了显著的进展，特别是在自然语言处理、计算机视觉和多模态理解方面。这些模型能够理解和生成多种类型的数据，如文本、图像、音频和视频，为多模态学习和应用提供了强大的工具。今天给大家汇总了13个开源多模态大模型，这些模型在各自的领域中刷新了多个SOTA记录，每个模型都将附上相关的论文和代码，一起看看多模态大模型的最新研究成果吧！论文PDF和开源代码都整理好了😝有需要的小伙伴，可以保存图片到。
【Python 学习笔记】 pip指令使用
老衲的少女心i~
04-23 316
当前文章记录的是我在学习过程的一些笔记和思考，可能存在有误解的地方，仅供大家参考，欢迎大家有问题指出~提示：以下是本篇文章正文内容，下面案例可供参考pip是一个现代的，通用的Python包管理工具。提供了对Python 包的查找、下载、安装、卸载功能，便于我们对Python的资源包进行管理。
游戏引擎学习第239天:通过 OpenGL 渲染游戏
虾球
04-22 1330
OpenGL 渲染逻辑成功嵌入平台层；已可运行测试，无重大崩溃；基础渲染结构已具备；已知限制：纹理尚未处理。下一步是继续观察输出验证绘制是否生效，然后逐步补上纹理相关支持，让图像完整显示。整个 OpenGL 接入工作已经完成了关键节点，逐步迈入功能扩展阶段。屏幕上确实只能看到一些基本的纯色图形由于当前还未集成纹理处理功能，因此大多数画面内容（如贴图、字体、图标等）都无法正确渲染。只要不是纯色矩形或简单形状，现阶段都不会显示。说明系统确实进入了 OpenGL 渲染路径。
Springoot、Flowable快速学习
最新发布
qq_39035267的博客
04-25 543
Springoot、Flowable快速学习，你想象不到实现起来如此的简单
C++模板学习（进阶）
你已经是一个成熟的代码了，要学会自己跑起来
04-22 820
非类型模板参数的学习，函数模板和类模板的特化的认识，模板分离编译
学习模拟电路
qq_45315034的博客
04-22 756
掌握模拟电路需要耐心积累，尤其要注重理论与实践的结合，逐步培养对电路“直觉”和调试能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值