LLM大模型：大模型应用（七）多模态和大模型是如何相互成就的

前言

如果单纯的将大模型用来聊天，那就是low了。

而多模态赋予了大模型更多的现实价值，大模型则助力多模态变得更强大。

多模态

我们所处的是一个物理世界，不同事物之间模态多种多样，即便是简单的文本，按照语言，格式都可以分很多个模态。

在实际使用中，多模态的场景往往需要模型微调，才可能满足需求。

我们这里还是主要看一下当前比较常用的基础多模态和支持的模型。

模态	场景	模型	备注
文本	nlp：自然语言处理
nlu:自然语言理解
nlg:自然语言生成	gpt-3.5-turbo
gpt-4
语音	asr：语音转文本
tts：文本转语音	国外：微软，google平台都很好用
国内：讯飞，Paddle等也很好	语音一般都是转成文本然后给到大模型
图片	文生图
图生文
图编辑
图检索	midjourney:最好的图片生成工具，没有之一
DALL·E:openai的模型，2和3都很好，功能强大
gpt-4-vision-preview:图片理解的模型
VisualBERT和ImageBERT：图片向量化	图片和大模型可以玩的很花，下面详说
视频	文生视频，视频理解	待sora问世	视频相关的结合较少，基建缺缺
代码	代码生成和纠错	`Codex` 已集成到gpt的模型中	现在的基础大模型几乎都具备编程能力，并且被广泛集成到github copilot，VS Code这类工具中
embedding	RAG:检索增强	开源的bert
openai的text-embedding-xxx系列
中文的m3e	严格讲这不算一个模态，但RAG往往被单拎出来用
审计	内容审计相关的场景，用于检测不安全内容	openai的text-moderation-xx系列	还记得我之前说的大模型安全问题吗，使用审计模型也是一种方向

典型场景

1. 漫画

我们可以利用大模型自动根据我们的剧情画漫画，它的实现流程大致如下：

• 单智能体版本

1. 创建一个漫画家agent
2. 给这个漫画家添加一个文生图的tool
3. 给它一段段剧情，自动生成漫画

• 多智能体版本

1. 创建一个漫画家agent，创建一个作家agent
2. 给这个漫画家添加一个文生图的tool，给作家一个ttstool。
3. 给作家一段概要，作家自动生成一段段剧情，并生成对应的语音
4. 漫画家根据剧情画出漫画

2. 健身|减肥

在减肥的时候，是不是有这样的烦恼，不知道自己吃的这顿饭有多少卡路里？

我们可以在吃饭前，把食物拍下来，然后用图生文的能力解读出，当前食物所含有的卡路里。

3. 医疗

我生病时，最头疼的事情就是描述不出自己是什么病，也不知道用什么药。

亲身经历：有次早晨醒来，发现后槽牙龈肿了，吃不了饭，当时不知道是智齿冠周炎，去医院挂号排队，搞了一下午，开了一堆药。后来再出现这样的情况，我就直接网购阿莫西林胶囊和甲硝唑口含片，基本一两天就能好。省略一大笔冤枉钱和大把的时间。

现在想想，如果有大模型支持的医疗agent，借助图搜图的能力，我只需要对着口腔拍个照片，就能直接看病，抓药。

4. 法律助手

这是一个典型的embedding功能，在langchain框架上有现成的功能。实际应用中是非常普遍和广泛的。

比如当你在做某个事情，而不知道法律是如何规定的时候，用embedding功能对所有的法律条目进行召回，并用大模型进行总结和回复。

5. siri

这是一个较为复杂的场景，它集成苹果手机的基础功能，此时他的模态更加宽泛，是一个典型的大模型和多模态的应用场景。

尾语

多模态是大模型应用中不可缺少的部分。是更贴近应用的部分。

不同的应用场景需要不同的策略，可能是新旧技术的结合，也可能是完全新的领域，比如sora。多模态正在发力的路上，还需要我们更多的探索。

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓