AI大模型应用开发实战(01)-大语言模型发展

瓦罗兰特顶级C位

于 2024-09-15 11:15:00 发布

阅读量436

点赞数 6

文章标签：人工智能自然语言处理 transformer llama 大模型 RAG 大语言模型

本文链接：https://blog.csdn.net/Wufjsjjx/article/details/142256906

版权

1 大语言模型发展

在这里插入图片描述

LLM（Large Language Model），大语言模型，为啥叫2.0？因为LLM出现前的1.0时代，主要是NLP（自然语言处理）工程，共性：通用性差。整个AI领域终极愿景是AGI（Artificial General Intelligence，人工通用智能）。

1.0可能是一个单任务的AI。如深蓝战胜象棋冠军，他只会下象棋，而且是学习了很多下棋套路，他只会干这一个事，问他别的啥都不知道。

2 LLM特点

LLM可以像语言一样跟我们交互，通过语言，它可扩展到很多场景。未来可能从依据LLM，发展出真的AGI,跟人类一样拥有智慧的智能体。

2.0开始，技术层基本是从点到面。最早的词向量技术，把自然语言的词语，使用向量表示。向量是一个数学概念，如猫这词在向量空间表示成一个坐标。狗就跟它有区别，牛又不一样。可理解为，每个词在向量空间都有唯一坐标，然后构成词典。使用这种one-hot方式表示，如苹果标注成101坐标。把自然语言，通过数学语言描述，而且它是个坐标，可精准找到位置。

3 大模型的不足和解决方案

无法表达词语词语之间的关系。如猫1这样坐标，和狗01坐标，之间啥关系？不知道！
效率不高

于是，在词向量的基础，出现

4 词嵌入（embedding）

叫词向量也可，就是对语言模型进行预训练。

通过大量现有文章资料，让这些词向量具备语言信息。预训练后的词向量，它在这向量空间，就带上额外信息，有效提升模型效果。且后续其他任务中间，去做一个迁移。

如猫、狗，通过坐标标注，让它有这种低维向量表示。还可有语义相似的一个向量空间相近，好比认为，猫和狗，通过预训练这些大量语料，我们发现猫、狗同属宠物。那可能这两个坐标点，在向量空间里比较接近。如找宠物时，在这向量空间里，猫和狗就是在宠物向量域。牛和羊属常用肉家畜，可能就在那个向量域。

所以，词向量就是一个地位向量表示，再一个是语义相似的向量空间。它能迁移学习，把这个任务，迁移到其他任务里。深蓝的下棋例子，就可以把它的技能去迁移。

词嵌入之后，又出现

5 巨向量和全文向量

根据这个前文信息，去分析下文或根据本文翻译成另一种语言。它代表的一些模型，如：

RNN（Recurrent Neural Network，循环神经网络）
LSTM（Long Short-Term Memory，长短期记忆网络）

可有效处理这种时序数据。“What time is it？”，训练时，它是一层一层的，它第一层神经网络，可能先看到"What"，然后"time"，“is”，“it”，最后看到问号。它会通过这样的顺序，去处理语句，去做一个上下文理解。

它还可做到一些短时记忆和选择性遗忘，即RNN和LSTM，它主要应用在像文本生成、语音识别和图像描述等。这时就比如说类似RNN和LSTM这样的模型出现，它已经可以做到我们常见的一些AI识别。

再往后就到理解上下文，就是全文的上下文，如"买什么什么is"这个这个模式理解上下文，这个模式代表作是类似比如说这个BERT这样大模型。到这阶段，已经可完成类似完形填空任务。那它就是根据上下文理解当前的代词，比如说男他女她动物它是什么，完成这个完形填空。那么这个时候就属于所谓的真域训练模型时代开启。

特点

支持并行训练，如说CNN（Convolutional Neural Network，卷积神经网络）这个模型比，就比如说这个"What time is it"，只能一层一层处理，不支持并行训练。必须完成这个事情之后再做下一个事情。

所以呢，它替代RNN和CNN这样神经网络，更强大，可以实现一些类似语义识别。

最后就是OpenAI这GPT（Generative Pre-trained Transformer）出现，这个模型出现为代表，我们就正式进入了这种超大模型和模型统一的时代。从谷歌T5（Text-to-Text Transfer Transformer）这个模型开始的时候，它是引入了的这样的一个模式来训练模型。也就是说，它是把提示词告诉模型，然后把答案训练出来，然后不停的用这样的模式来训练模型。那么当我们在问模型这些问题的时候，其实也是通过，通过提示词，通过prompt的方式来引导它。所以到这个时代的时候呢，那我们以chatgpt为代表，我们发现它的效果非常惊艳。最新的成果就是说，我们的大模型已经支持了多模态，OpenAI开启的这个大模型时代呢，它其实是把这个，一种基于的这种训练模型这种方式提了出来。

整个的大模型的发展，就是一个从点到面的发展过程。最核心也是最早的是基于这个词向量的技术。通过这个不断发展到神经网络，到这种单线的，到并行训练，最后直到超大规模训练集，实现一个大语言模型发展。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望