大模型学习笔记十：多模态大模型

已于 2024-05-28 05:04:13 修改
阅读量99 收藏
点赞数 1
文章标签： langchain
于 2024-05-15 13:53:53 首次发布
谢白羽专属
本文链接：https://blog.csdn.net/weixin_43679037/article/details/138906173
版权

文章目录

一、多模态大预言模型(MLLM)的定义

1）跨模态模型

（1）以视觉、文本、音频三种模态为例（艺术人对话）：
①Real3D-Portrait
在这里插入图片描述
②SadTalker
在这里插入图片描述
③Audio2Photoreal
在这里插入图片描述
（2）suno：文本\歌词->音乐生成
在这里插入图片描述

在这里插入图片描述

（3）音色克隆、语音发言：GPT-SoVITS
在这里插入图片描述

2）单模态大模型

1）视觉大模型
在这里插入图片描述

2）语言大模型
在这里插入图片描述

3）多模态模型

在这里插入图片描述

二、(图-文)多模态模型的发展历程

1）发展历程

①vision transformer（ViT）模型：图片模型
在这里插入图片描述
②基于transformer架构的图像-文本联合建模
以VisualBert为例子
在这里插入图片描述
③大规模 图-文 Token对其模型 CLIP（开放域下的图像分类-目标检测-图像分割）
在这里插入图片描述
文本和图片的特征提取出来
更加深入理解：（图片分类CLIP->物体检测GLIP->像素级别检测MaskCLIP）
在这里插入图片描述

2）CLIP代码举例展示

  • 代码目的：文生图或图生文
#1、加载模块
from transformers import CLIPProcessor, CLIPModel
model = CLIPModel.from_pretrained
最低0.47元/天 解锁文章
谢白羽
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ChatGPT4.0笔记.zip
03-15
GPT-4的的强大之处。 更高的模型精度和性能：GPT-3已经在自然语言处理和语言生成方面取得了令人瞩目的成就，而GPT-4预计将进一步提升模型的精度和性能，更加准确地理解和生成自然语言。 更强的推理和逻辑能力：GPT-4可能会具备更强的推理和逻辑能力，能够更好地理解和分析复杂的逻辑关系和语言语境。这将使其在语言生成、文本分类、机器翻译等领域具有更广泛的应用。 更高的多模态处理能力：GPT-4将可能具备更高的多模态处理能力，可以处理更多种类的数据，包括文字、图像、音频、视频等多种形式的数据。这将使其在图像识别、语音识别、机器翻译等领域有更广泛的应用。 更强的可扩展性和可定制化：GPT-4可能会具备更强的可扩展性和可定制化，可以根据不同的应用场景和需求进行优化和定制，提供更加灵活和个性化的解决方案。 总之，GPT-4将有望在自然语言处理、机器学习、深度学习等领域继续推动人工智能的发展，并为人类带来更多的创新和发展。
自然语言处理-基于预训练模型的方法-笔记
09-01
哈工大的那本书，很好的一本书。 html/website/markdown 格式请查阅本人博客：https://zenmoore.github.io
GPT-4震撼发布：多模态大模型，直接升级ChatGPT、必应，开放API，游戏终结了？
03-15
内容概要： ChatGPT-4 是由 OpenAI 发布的一款新一代自然语言处理模型，具备更加先进的语言生成和对话交互能力，可广泛应用于对话系统、智能客服、文本生成、机器翻译等领域。本文将介绍 ChatGPT-4 的发布会笔记及相关信息。 适用人群： 本文适合对自然语言处理领域有一定了解的读者，如科研人员、学生、从事人工智能开发的工程师等。 使用场景及目标： ChatGPT-4 的应用场景非常广泛，可以应用于各种语言处理任务，例如对话系统、智能客服、文本生成、机器翻译等。其目标是通过深度学习和理解人类语言，使机器能够像人一样进行自然的语言交互，从而实现更加智能和便捷的人机交互。 其他说明： 在发布会上，OpenAI 团队介绍了 ChatGPT-4 的一些技术亮点和性能表现。ChatGPT-4 模型使用了新的架构设计和更加复杂的模型结构，训练数据集也更加庞大和多样化，从而大幅度提高了模型的语言理解和生成能力。与此同时，ChatGPT-4 也在多个自然语言处理任务中取得了极好的表现，例如在对话生成、文本生成、问答系统、情感分析等任务上都表现出了优异的性能。
ChatGPT4.0笔记
03-15
我们创建了 GPT-4，这是 OpenAI 努力扩展深度学习的最新里程碑。GPT-4 是一个大型多模态模型（接受图像和文本输入，发出文本输出），虽然在许多现实世界场景中的能力不如人类，但在各种专业和学术基准上表现出人类水平的表现。例如，它通过了模拟律师考试，分数在应试者的前 10% 左右；相比之下，GPT-3.5 的得分在倒数 10% 左右。我们花了 6 个月的时间 使用我们的对抗性测试程序和 ChatGPT 的经验教训迭代调整 GPT-4，从而在真实性、可操纵性和拒绝超出护栏方面取得了有史以来最好的结果（尽管远非完美）。 在过去的两年里，我们重建了整个深度学习堆栈，并与 Azure 一起为我们的工作负载从头开始共同设计了一台超级计算机。一年前，我们训练 GPT-3.5 作为系统的第一次“试运行”。我们发现并修复了一些错误并改进了我们的理论基础。结果，我们的 GPT-4 训练运行（至少对我们而言！）前所未有地稳定，成为我们能够提前准确预测其训练性能的第一个大型模型。随着我们继续专注于可靠的扩展，我们的目标是完善我们的方法，以帮助我们越来越多地提前预测和准备未来的能力
多模态+大模型+学习笔记
09-21
BLIP学习笔记，对熟悉多模态大模型非常有帮助，欢迎大家下载
多模态大模型训练方法学习（笔记）
cc272018282的博客
04-16 1004
多模态大模型训练方法（学习）
多模态大模型笔记：LLaVA-UHD
泊柴的博客
04-20 1048
多模态模型目前存在一个挑战——如何处理高分辨的图像。目前已经开源的模型包括 Qwen-VL、Yi-VL、Llava-1.6，处理图像的方式都显得不够好。常见的方式有两种：一是不论图像原始分辨率多大，直接图像缩放到同一的分辨率 448x448；二是将图像进行切片，然后把多个patch拼接到一起，组合成图像 Embedding。第一种方式会丢失很多图像细节，比如对于包含密集文本的图像，就不能很好的处理图片中的文字。第二种方式虽然保留的图像的高分辨率特征，但是图像的token会很长，训练起来比较费劲。
『2023北京智源大会』视觉与多模态大模型
AI新视界
06-15 863
2023北京智源大会-视觉与多模态大模型论坛
学习笔记：多模态
热门推荐
Qingkaii的博客
05-03 2万+
1.多模态数据： 不同的存在形式或信息来源均可被称之为一种模态。由两种或两种以上模态组成的数据称之为多模态数据（多模态用来表示不同形态的数据形式，或者同种形态不同的格式，一般表示文本、图片、音频、视频、混合数据）。 多模态数据是指对于同一个描述对象，通过不同领域或视角获取到的数据，并且把描述这些数据的每一个领域或视角叫做一个模态。 2.多模态数据融合： 主要是指利用计算机进行多模态数据的综合处理，负责融合各个模态的信息来执行目标预测。多模态数据融合负责将多个模态的信息进行有效的整合，汲取不同模态的优点
多模态大模型笔记：mPLUG-DocOwl 1.5
泊柴的博客
04-27 1062
传统OCR领域需要处理的问题是识别图片中的文字，如果是文档表格，还需要对图片做版面分析或者表格识别。要完成这些任务，通常需要文字检测、文字识别、Layout 分析、TSR 识别等多个模型组合起来，才能顺利完成工作。最近多模态大模型的发展如火如荼，有不少论文都尝试训练一个端到端的模型来解决所有问题，但实际效果不尽人意。
大模型从入门到应用——LangChain：记忆（Memory）-[记忆的存储与应用]
冯·诺依曼
08-15 5365
Zep 是一个存储、摘要、嵌入、索引和丰富对话式人工智能聊天历史记录的工具，并通过简单、低延迟的API进行访问。[3] LangChain中文网 - LangChain 是一个用于开发由语言模型驱动的应用程序的框架：http://www.cnlangchain.com/[2] LangChain 🦜️🔗 中文网，跟着LangChain一起学LLM/GPT开发：https://www.langchain.com.cn/[1] LangChain官方网站：https://www.langchain.com/
基于业务逻辑生成特征变量python实现源码+数据集+超详细注释.zip
05-31
【优质项目推荐】 1、项目代码均经过严格本地测试，运行OK，确保功能稳定后才上传平台。可放心下载并立即投入使用，若遇到任何使用问题，随时欢迎私信反馈与沟通，博主会第一时间回复。 2、项目适用于计算机相关专业（如计科、信息安全、数据科学、人工智能、通信、物联网、自动化、电子信息等）的在校学生、专业教师，或企业员工，小白入门等都适用。 3、该项目不仅具有很高的学习借鉴价值，对于初学者来说，也是入门进阶的绝佳选择；当然也可以直接用于 毕设、课设、期末大作业或项目初期立项演示等。 3、开放创新：如果您有一定基础，且热爱探索钻研，可以在此代码基础上二次开发，进行修改、扩展，创造出属于自己的独特应用。 欢迎下载使用优质资源！欢迎借鉴使用，并欢迎学习交流，共同探索编程的无穷魅力！ 基于业务逻辑生成特征变量python实现源码+数据集+超详细注释.zip基于业务逻辑生成特征变量python实现源码+数据集+超详细注释.zip基于业务逻辑生成特征变量python实现源码+数据集+超详细注释.zip基于业务逻辑生成特征变量python实现源码+数据集+超详细注释.zip基于业务逻辑生成特征变量python实现源码+数据集+超详细注释.zip基于业务逻辑生成特征变量python实现源码+数据集+超详细注释.zip基于业务逻辑生成特征变量python实现源码+数据集+超详细注释.zip 基于业务逻辑生成特征变量python实现源码+数据集+超详细注释.zip 基于业务逻辑生成特征变量python实现源码+数据集+超详细注释.zip
六一儿童节快乐！（六一儿童节庆祝代码）Vue开发
05-31
六一儿童节快乐！（六一儿童节庆祝代码）Vue开发 like Project setup npm install Compiles and hot-reloads for development npm run serve Compiles and minifies for production npm run build Lints and fixes files npm run lint Customize configuration
uniapp聊天工具源码.zip
05-31
提供的源码资源涵盖了安卓应用、小程序、Python应用和Java应用等多个领域，每个领域都包含了丰富的实例和项目。这些源码都是基于各自平台的最新技术和标准编写，确保了在对应环境下能够无缝运行。同时，源码中配备了详细的注释和文档，帮助用户快速理解代码结构和实现逻辑。 适用人群： 这些源码资源特别适合大学生群体。无论你是计算机相关专业的学生，还是对其他领域编程感兴趣的学生，这些资源都能为你提供宝贵的学习和实践机会。通过学习和运行这些源码，你可以掌握各平台开发的基础知识，提升编程能力和项目实战经验。 使用场景及目标： 在学习阶段，你可以利用这些源码资源进行课程实践、课外项目或毕业设计。通过分析和运行源码，你将深入了解各平台开发的技术细节和最佳实践，逐步培养起自己的项目开发和问题解决能力。此外，在求职或创业过程中，具备跨平台开发能力的大学生将更具竞争力。 其他说明： 为了确保源码资源的可运行性和易用性，特别注意了以下几点：首先，每份源码都提供了详细的运行环境和依赖说明，确保用户能够轻松搭建起开发环境；其次，源码中的注释和文档都非常完善，方便用户快速上手和理解代码；最后，我会定期更新这些源码资源，以适应各平台技术的最新发展和市场需求。
NX二次开发uc1603 函数介绍
05-31
NX二次开发uc1603 函数介绍，Ufun提供了一系列丰富的 API 函数，可以帮助用户实现自动化、定制化和扩展 NX 软件的功能。无论您是从事机械设计、制造、模具设计、逆向工程、CAE 分析等领域的专业人士，还是希望提高工作效率的普通用户，NX 二次开发 Ufun 都可以帮助您实现更高效的工作流程。函数覆盖了 NX 软件的各个方面，包括但不限于建模、装配、制图、编程、仿真等。这些 API 函数可以帮助用户轻松地实现自动化、定制化和扩展 NX 软件的功能。例如，用户可以通过 Ufun 编写脚本，自动化完成重复性的设计任务，提高设计效率；或者开发定制化的功能，满足特定的业务需求。语法简单易懂，易于学习和使用。用户可以快速上手并开发出符合自己需求的 NX 功能。本资源内容 提供了丰富的中英文帮助文档，可以帮助用户快速了解和使用 Ufun 的功能。用户可以通过资源中的提示，学习如何使用 Ufun 的 API 函数，以及如何实现特定的功能。
【目标检测数据集】遥感类军用飞机检测数据集3800张20类别VOC+YOLO格式.zip
05-31
【目标检测数据集】遥感类军用飞机检测数据集3800张20类别VOC+YOLO格式.zip 数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数)：3821 标注数量(xml文件个数)：3821 标注数量(txt文件个数)：3821 标注类别数：20 标注类别名称:["A1","A2","A3","A4","A5","A6","A7","A8","A9","A10","A11","A12","A13","A14","A15","A16","A17","A18","A19","A20"] 每个类别标注的框数： A1 框数 = 1646 A2 框数 = 1726 A3 框数 = 1164 A4 框数 = 642 A5 框数 = 1262 A6 框数 = 436 A7 框数 = 680 A8 框数 = 944 A9 框数 = 1073 A10 框数 = 924 A11 框数 = 501 A12 框数 = 702 A13 框数 = 1652 A14 框数 = 177
grpcio-1.64.0-cp38-cp38-win_amd64.whl
最新发布
05-31
Python库是一组预先编写的代码模块，旨在帮助开发者实现特定的编程任务，无需从零开始编写代码。这些库可以包括各种功能，如数学运算、文件操作、数据分析和网络编程等。Python社区提供了大量的第三方库，如NumPy、Pandas和Requests，极大地丰富了Python的应用领域，从数据科学到Web开发。Python库的丰富性是Python成为最受欢迎的编程语言之一的关键原因之一。这些库不仅为初学者提供了快速入门的途径，而且为经验丰富的开发者提供了强大的工具，以高效率、高质量地完成复杂任务。例如，Matplotlib和Seaborn库在数据可视化领域内非常受欢迎，它们提供了广泛的工具和技术，可以创建高度定制化的图表和图形，帮助数据科学家和分析师在数据探索和结果展示中更有效地传达信息。
Kan网络pytorch的实现
05-31
权重替换：KAN网络通过将权重参数替换为可学习的单变量函数，提高了网络的性能和可解释性。这种设计使得KAN网络在准确性和可解释性方面优于传统的多层感知器（MLP）。 激活函数位置：与传统的MLP不同，KAN网络中的激活函数位于网络的“边”（即权重）上，而不是节点上。这使得KAN网络能够更灵活地调整每个连接上的激活函数，从而提高模型的表示能力。 非线性核函数：KAN网络可以使用非线性核函数来替代MLP“边”上的线性函数，进一步增强了模型的非线性处理能力。 逼近精度：KAN网络可以设定细粒度的结点（Knot）来提高逼近精度，这使得KAN网络在处理复杂任务时能够获得更高的准确度。 KAN网络的数学理论基础主要来自于Kolmogorov-Arnold表示定理。该定理指出，任意一个多变量连续函数都可以表示为有限数量的单变量连续函数的两层嵌套加法的形式。KAN网络正是基于这一定理，通过将多元函数的学习转化为对一组单变量函数的学习，提高了模型的表达能力和计算效率。
大模型技术进化论:多模态大模型综述 pdf
12-15
《大模型技术进化论：多模态大模型综述》是一篇系统阐述多模态大模型技术进化的综述性论文。多模态大模型是指通过整合多种不同的数据形式和类型，构建出更复杂、更完整的模型，以提高模型的表现和性能。 该论文首先介绍了大模型技术的背景和发展动力。随着数据规模的快速增长和多源数据的丰富性，传统的单一模态模型已经面临着一系列的挑战，无法完全适应现实世界中的复杂情况。因此，多模态大模型的出现成为了解决这一问题的有效手段。 随后，论文针对多模态大模型的构建过程进行了详细的讨论。首先介绍了多模态数据的采集与预处理方法，包括各种传感器和设备的应用，以及数据对齐和归一化等技术。然后，论文详细介绍了多模态特征提取、融合和表示学习方法，包括传统的特征提取算法和深度学习方法等。 接着，论文重点讨论了多模态大模型在各个领域的应用。例如，在计算机视觉领域，多模态大模型能够通过融合图像和文本数据，实现更准确的图像分类和目标检测。在自然语言处理领域，多模态大模型能够通过融合文本和语音数据，实现更准确的情感分析和语音识别。此外，还介绍了多模态大模型在医学、金融、推荐系统等领域的应用。 最后，论文总结了多模态大模型技术的优势和挑战，并展望了未来的研究方向。多模态大模型技术的优势在于可以综合利用不同数据源的信息，提高模型的鲁棒性和泛化能力。然而，多模态大模型技术面临着数据集规模和计算复杂度的挑战，需要进一步研究和改进相应的算法和技术。 综上所述，《大模型技术进化论：多模态大模型综述》通过系统的介绍了多模态大模型技术的构建过程、应用领域和发展前景，对相关研究和应用人员具有重要的参考价值。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值