这个是大模型系列课程的第一节。
接下来我带着大家一起拥抱新技术,分享的进展不会很快,大概一周一次,有空可以直播讲解或实操。
为了照顾那些工程出身,甚至非技术同学,我这个系列会从小白开始,从基础概念入门逐步展开。
声明:我不会研究基础大模型,而是会关注应用层,当然也会涉及预训练、知识库、多智能化跟模型最终效果息息相关的部分。
废话不多说,赶快上车。
我们先理解一下什么是大模型,先从 ChatGPT 来学习大模型。
ChatGPT(Generative Pre-trained Transformer)从名字上已经表明了它的特点,
“Chat” - 聊天,
G:“Generative” - 生成式,
P:“Pre-trained” - 预训练,
T:“Transformer” - 大模型推理架构
Chat-聊天
聊天大家基本都理解,你说一句,它回你一句,所以叫“Chat”-GPT。
Generative-生成式
乍一听啥玩意?
我们跟之前模型的玩法做个对比,就理解了。
比如你在百度/Google 上搜索,它都是把一堆文章和链接返给你,但是GPT 是什么样的,用过的都知道,尤其是网络不好的时候更明显,GPT 就像有口吃,讲话是一个词一个词往外蹦。
为什么呢?
来到了大家最爱的原理剖析了,面试官即视感,来,请讲讲底层原理😄!!
容我先举个🌰,你让 ChatGPT 写一句话描述打工人周一上班的状态。
大模型生成了一句:“周一上班真的很—— 爽(0.2)/ 丧(0.8)
爽和丧都是模型产出的词,每个词都有对应被选中的概率,大模型在选择下一个词的时候就是根据括号里面的概率来定的,那这个词和概率是怎么来的呢?
这个就是根据前期喂给它的语料训练有关系,这个比较深奥,一般二面面试官才问这个,你先记住这个题要考。
这篇文章是第一篇,有些地方不宜讲太深【其实是因为我也还没学到】。
虽然我知道你们对知识如饥似渴,但是这次我们选择浅尝辄止。
当你给大模型一段输入,接下来大模型会做4 件事:
- 将文本编码:模型首先将输入的文本串分词,然后将文字转换为向量(embedding),向量这个词可能有读者会陌生,没关系,你先知道有这个东西,后面会讲的;
- 预测下一个词:基于当前用户的输入以及所有前面的上下文,GPT 会计算接下来每一个可能的单词或标记的概率,这个概率表明了在当前上下文中每一个单词接下来出现的可能性,就是上面的爽(0.2)和丧(0.8)。
- 选择单词:从概率最高的单词中选择一个作为输出(常规做法);
- 重复上述过程:接着,模型会将新生成的单词加入到已有的文本序列中,并基于这个更新后的序列重复上述预测和生成过程,直到达到某个停止条件(如生成特定数量的单词、达到句子结束标记等)。
“生成” 简单来说就是根据给定内容,预测和输出接下来的对应内容。
跟生成式模型相对应的是判别式模型,判别式模型通常用于处理分类任务,也先不纠结这个,先记住这次词,后面我在讲传统机器学习训练,西瓜保不保熟的例子会讲到。
要记的词好多,对吧。
前面讲了这么多,大白话讲一下重点:
其实大模型的核心机制就是生成一堆候选词,每个候选词都带个概率值,每次选概率高的输出(常规做法),循环往复。
Pre-trained 预训练
再来说预训练,啥又是预训练?
不要虚,看拉哥砍瓜切菜,三二下就给你整明白了。
“预训练”是相对“训练”而言的,所以我们先得知道什么是训练。
训练是机器学习的概念,我以西瓜书里面的经典例子来讲“训练”的概念。
比如我们要训练一个模型,用来根据西瓜的外型判断西瓜是否熟?
这个强子比较有发言权。
我们来看下训练的过程,比如西瓜熟,一般从色泽、根蒂、敲声三方面来看
在机器学习的概念里面,色泽、根蒂、敲声 这三个叫做特征,是否熟是结果
从数据中学得模型的过程称为“训练”
比如我买10 个瓜,记录每个瓜的色泽、根蒂、敲声,然后把每个瓜都切开,看是不是都熟了。
从特征和结果找规律就是学习或者叫训练的过程,这10个瓜就是我用来学习的“样本”,或者叫“数据集”。
形式化表达 Y = f(x1) + f(x2) + f(x3);
Y 只有二种结果,熟 或者 不熟,训练的参数有三个,样本量有10个,最后能学习到色泽青绿、根蒂蜷缩、敲声浑浊的瓜熟的概率最大,这就是“训练”。
这个例子也是上面说的传统机器学习中的可以用来处理分类任务的判别式模型。
再加个餐,机器学习里面除了分类,还有另外一类任务,叫做回归(regression),分类的模型结果是离散值,比如这里瓜熟不熟,只有二种值,回归任务模型结果是连续值,比如预测瓜的含糖量,一般是一个范围内的连续值。
好了,大家现在应该对训练有了大概的认知,接下来我们来说说预训练。
大模型之所以被称为“预训练”模型,是因为模型在有监督训练和微调之前,先进行了一波大规模的无监督预训练阶段。
很多同学可能之前没学过机器学习,这里有个概念要讲解下:无监督和有监督是什么意思?
比如前面那个瓜熟不熟,是每个瓜都会被切开看,有个明确的结果值:熟还是不熟,这就是有监督。
而无监督学习,代表数据集中没有标签,算法需要从数据本身中发现结构或模式。
还是以瓜为例子,如果是无监督,我学习的目标可能不是区分瓜是不是熟,而是算法自己从这些瓜里面找规律,最后算法发现要把颜色相近、根蒂卷曲程度差不多的瓜放在一起,这个叫聚类,这么说大家明白了吗?
那在ChatGPT 里面也是类似,预训练的时候不涉及带有标签的训练,直接把互联网大量的咨询、文章等丢给模型,让模型学习词汇、语法、语义以及上下文信息。通过这个过程,模型能够学习到丰富的语言知识和表示能力。
在预训练完成后,这些模型可以进一步进行有监督的微调或特定任务的训练。通过微调,模型可以根据特定任务的数据进行具体的训练和调整,使其更适应特定任务,提高性能。
总结起来,预训练模型通过在大规模无监督数据上进行训练,为模型提供了基础的语言理解和表达能力。其后,通过特定任务的微调,将模型应用到具体的任务上,并提升其性能和适应性。这种两阶段训练的方式使得预训练模型相比传统NLP 自然语言处理任务中取得了更显著的突破。
好,能学到这的人我觉得稳了,加餐加餐。
大模型为什么叫大模型,其中一个大的体现就是参数非常大,刚才我们看判断瓜是否熟的模型参数只有三个,一般大模型的参数都是十亿起步,比如GPT3 的参数规模是175B,1B(1 Billion)等于10亿(即(10^9)),所以GPT3 有1750 亿个参数,属于千亿级的参数,GPT4 参数更夸张,是1.8万亿参数,训练一次就得 6300万美元!
其实大模型所用到的技术跟传统NLP 本质上没有区别,但是由于参数量级巨大,带来了一个关键的变化,就是模型具备了“涌现”能力,下面这个图就是一个说明,当模型参数达到一定量级,就好像出现了人工智能,机器有了“自主意识”,能“生成”了。
我很喜欢“涌现”这个词,这个词就好像武侠小说里的主人公,当内力达到一个临界值之后,全身经脉打通,武力值爆表。
希望我的读者在大模型技术上都能“涌现”,嗯嗯嗯~~~。
这篇文章就到这里,下篇讲大模型核心训练框架-Transformer,也就是ChatGPT 的最后一个单词T。
如何学习AI大模型?
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;
第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;
第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓