Transformer两大发展方向——GPT系列及BERT（一）

于 2024-10-01 08:15:00 发布
阅读量919 收藏 28
点赞数 12
文章标签： transformer 计算机视觉 prompt LLM 大模型 人工智能 RAG
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_81940605/article/details/142615481
版权

前面介绍了Transformer，随着其发展在NLP领域应用越来越多，在其基础上主要有两篇影响非常大的文章，一篇是GPT，另一篇是BERT。OpenAI提出的GPT采用Transformer解码器结构，一路更新迭代到了现在有了GPT-4，而Google提出的BERT采用Transformer的编码器结构。大体时间线如下图所示。这里对几篇文章的一些主要内容和发展脉络进行记录，其他更加细节的东西可以查看下面给出的论文原文或者资料里面的视频讲解。

在这里插入图片描述

一、相关论文

GPT1: Improving Language Understanding by Generative Pre-Training
GPT2: Language Models are Unsupervised Multitask Learners
GPT3: Language Models are Few-Shot Learners
GPT4: GPT-4 Technical Report
BERT: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

二、相关资料

GPT，GPT-2，GPT-3 论文精读【论文精读】
GPT-4论文精读【论文精读·53】
李沫讲BERT
李宏毅ELMO、BERT、GPT
OpenAI GPT4精简

三、GPT（Generative Pre-Training）

PDF: Improving Language Understanding by Generative Pre-Training

3.1 背景及思想

在CV领域，由于存在存在标注好的大型数据集，如ImageNet，因此在这些数据集上训练好一个模型，然后在到下游子任务中依据少量数据进行微调就可以得到一个不错的效果，这也使其应用非常广泛。但在CV领域缺少大规模标注好的数据，因此没法按照上述思想进行训练。GPT基于此问题采用半监督思路，现在无标签数据集上训练得到一个预训练模型，然后再到子任务上基于标注好的数据进行监督学习。

3.2 相关内容

  • 无监督学习
    训练的目标是对于给定序列，在前面k个词出现的情况下使得预测第i个词的概率最大化。
    在这里插入图片描述

    其中语言模型采用的是Transformer的Decoder结构，也就是带掩码的注意力。

  • 监督学习
    在这里插入图片描述

    目标是对于标注好的数据进行训练，保证正确的标签y在输入x的情况下其概率最大，文中也举了几个具体的任务。
    在这里插入图片描述

分类问题：采用Extract提出的特征在接一个Linear
蕴含：把两个句子用分隔符拼接，然后接一个Linear来预测
判断是否相似：把文本用分隔符拼接
多选：把问题和答案用分隔符拼接，然后每个答案都接一个Linear，最后预测对应的概率。

可以看到可以把不同类型的任务都转换成文本作为输入，进而不改变预训练模型的结构，只是后续接入的Linear层不一样。

3.3 网络结构

采用的是Transformer的解码器，每一个解码器输入和输出维度是一致的，GPT中采用12层，维度是768。
在这里插入图片描述

3.4 效果

预训练的数据集采用的是BooksCorpus dataset数据集，大约800M个词。可以看到其在不同任务上都具有不错的效果。
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

四、BERT

PDF: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

4.1 背景及思想

GPT发布后不久，Google就提出了BERT，从结构上来看应该借鉴了GPT的部分思想，也是在一个没有标注的大数据集上训练一个预训练模型，然后在子任务上进行微调。另外还借鉴了一篇前期的工作是ELMo:Deep contextualized word representations，其大体思想是采用两层双向的LSTM来基于上下文给每个单词一个Word Embedding，这样就很大程度上缓解了词在不同句子中歧义的发生。BERT可以看成是ELMo和Transformer的结合，由于要上下文信息，因此BERT选择的是Transformer中的编码器来代替LSTM。
在这里插入图片描述

4.2 相关内容

  • 预训练
    提出来两种训练策略。第一种是对输入句子中进行挖空（有15%的概率），相当于完形填空。
    在这里插入图片描述

    另外一种预测下一句，就是给BERT两个句子，判断这两个句子是否是邻近的。两个句子中间用特殊标记符SEP进行隔开，然后开头也引入一个标记符，其输出用于做分类。这里CLS其实放在任何位置都可以，因为内部采用的是自注意力机制。
    在这里插入图片描述

    文中训练采用两种策略一起，训练的数据集在GPT采用BooksCorpus（800M words）的基础上还增加了English Wikipedia（2500M words）其输入如下：
    在这里插入图片描述

  • 微调
    这一步和GPT类似，依据前面训练好的模型，然后根据特定的子任务，再接一个Linear层，得到对应任务的输出。在不同任务上微调：

在这里插入图片描述

4.3 网络结构

采用的是Transformer的编码器结构，每一个编码器输入和输出维度是一致的，BERT有两个版本，BERT_Base版本和GPT一样采用12层，维度是768，参数大小约110M，BERT_Large采用24层，维度选择1024。这里Base版本估计是为了和GPT比较，而后面Large应该是对应的数据集更大而设大的。
在这里插入图片描述

文中也给出了几种方法的结构对比，GPT采用的是解码器，需要按顺序，所以图中只画出了前面的连接，和后面的是没有连接的。
在这里插入图片描述

4.4 效果

在不同数据集上进行测试，发现效果都霸榜了。
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

AI小白龙*
关注
Transformer 文本生成实战——GPT2
AI天才研究院
09-17 1177
GPT (Generative Pre-trained Transformer) 是由 OpenAI 团队在 2019 年提出的一种无监督语言模型。GPT 的主要思想就是用大量无标注的数据训练一个模型，然后利用这个模型生成新的数据。模型通过学习如何合理地组合上下文中的片段，生成高质量的句子或文本。在 GPT 之前，还有其他一些语言模型比如 BERT 和 RoBERTa，它们也采用了类似的方式进行预训练。但是相比于传统的基于统计方法的语言模型，GPT 在很多方面都有了革命性的突破。
Transformer结构及其应用详解——GPT、BERT、MT-DNN、GPT-2
weixin_59191169的博客
04-10 928
在介绍Transformer前我们来回顾一下RNN的结构对RNN有一定了解的话，一定会知道，RNN有两个很明显的问题效率问题：需要逐个词进行处理，后一个词要等到前一个词的隐状态输出以后才能开始处理如果传递距离过长还会有梯度消失、梯度爆炸和遗忘问题为了缓解传递间的梯度和遗忘问题，设计了各种各样的RNN cell，最著名的两个就是LSTM和GRU了但是，引用网上一个博主的比喻，这么做就像是在给马车换车轮，为什么不直接换成汽车呢？于是就有了我们本文要介绍的核心结构——Transformer。
Transformer系列-8丨结构及其应用详解——GPT、BERT、MT-DNN、GPT-2
2401_85379281的博客
08-23 1077
在介绍Transformer前我们来回顾一下RNN的结构对RNN有一定了解的话，一定会知道，RNN有两个很明显的问题效率问题：需要逐个词进行处理，后一个词要等到前一个词的隐状态输出以后才能开始处理如果传递距离过长还会有梯度消失、梯度爆炸和遗忘问题为了缓解传递间的梯度和遗忘问题，设计了各种各样的RNN cell，最著名的两个就是LSTM和GRU了但是，引用网上一个博主的比喻，这么做就像是在给马车换车轮，为什么不直接换成汽车呢？于是就有了我们本文要介绍的核心结构——Transformer。
Transformer通俗笔记：从Word2Vec、Seq2Seq逐步理解到GPT、BERT
热门推荐
结构之法 算法之道
10-23 8万+
我在写上一篇博客《》时，有读者在文章下面评论道：“july大神，请问BERT的通俗理解还做吗？”，我当时给他发了张俊林老师的BERT文章，所以没太在意。直到今天早上，刷到CSDN上一篇讲BERT的文章，号称一文读懂，我读下来之后，假定我是初学者，读不懂。（这是），再比如国内张俊林老师的这篇《》，然后你会发现几乎网上关于Transformer/BERT的文章无外乎是以下这几种情况。
Transformer、Bert、Gpt对比系列，超详细介绍transformer的原理，bert和gpt的区别
L_goodboy的博客
05-23 1万+
Transformer、Bert、Gpt对比系列，超详细介绍transformer的原理，bert和gpt的区别；Transformer、Bert、Gpt对比系列，超详细介绍transformer的原理，bert和gpt的区别
【论文笔记】——从transformer、bert、GPT-1、2、3到ChatGPT
weixin_46340912的博客
03-23 7202
本文介绍了GPT-2模型，与GPT相比，GPT-2模型更大，有12到48层，最大的48层包含1542M的参数量。GPT-2主要测试是zero-shot setting下完成的，它具备强大的语言理解能力，同时也具备了一定的生成能力，测试的一些生成任务如摘要，翻译等已经超过了一些简单的baseline。在一个新数据集WebText上训练，是百万级别的；提出GPT-2，参数量1.5B，15亿；提到zero-shot；提出GPT-3，参数量1750亿；
【LLM第7篇】transformer跟bert、gpt、大模型的联系
凝眸伏笔的博客
05-29 1780
上一篇讲了transformer的原理，接下来，看看它的衍生物们。Transformer基本架构Transformer模型主要由两部分组成：编码器（Encoder）和解码器（Decoder）。编码器负责处理输入序列，将其转换为一系列内部表示；解码器则根据这些内部表示生成输出序列。编码器和解码器都由多个相同的层堆叠而成，每层包括自注意力机制和全连接前馈两个子层，子层之间采用残差连接和层归一化技术。
Bert and its family——GPT
周周周周周大帅的博客
02-09 1571
在更新完ELMO、Bert之后，还有一个家族成员——GPT需要记录。其实也一直想写啦，只不过最近都在玩。那什么是GPT呢？GPT就是Generative Pre-Training 的简称，实际上就是transformer的decoder。那GPT在做一个怎样的工作呢？就是输入一个句子中的上一个词，我们希望GPT模型可以得到句子中的下一个词，就仅此而已。当然，由于GPT-2的模型非常巨大，它在很多任务上都达到了惊人的结果，甚至可以做到zero-shot learning（简单来说就是模型的迁移能力非常好），如
深入理解深度学习——GPT（Generative Pre-Trained Transformer）：基础知识
冯·诺依曼
06-22 1万+
系列文章介绍了Transformer，该模型最初被用于机器翻译任务，其出色表现引起了学术界的极大兴趣，其优异的特征提取与语义抽象能力得到了学者的广泛认可，于是研究人员纷纷采用Transformer作为特征提取器，推出了新一代性能更优的预训练语言模型。
Transformer,BERT,and GPT
05-02
书籍
大模型（Large Language Models, LLMs）是指拥有大量参数的机器学习模型，如GPT系列、BERT、ERNI
09-20
大模型实战教程：大模型（Large Language Models, LLMs）是指拥有大量参数的机器学习模型，如GPT系列、BERT、ERNIE等，这些模型通常在大规模数据集上训练，并能够执行各种自然语言处理任务。下面是一个关于如何构建...
深入理解Transformer：BERT和GPT的神奇之旅
AI天才研究院
12-30 1203
自从2017年的“Attention is all you need”一文发表以来，Transformer架构已经成为自然语言处理（NLP）领域的主流架构。Transformer的出现使得深度学习模型从传统的循环神经网络（RNN）和卷积神经网络（CNN）逐渐转向自注意力机制（Self-Attention）和并行计算，从而实现了巨大的性能提升。
Transformer大模型实战 DistilBERT 模型——BERT模型的知识蒸馏版本
AI天才研究院
07-03 795
在自然语言处理（NLP）领域，预训练模型如BERT、GPT等展示了强大的文本理解和生成能力，但在实际部署时面临着巨大的计算和存储成本。尤其对于需要在资源受限设备上运行的应用场景，如何在保持高性能的同时降低模型大小成为了一个关键问题。BERT（Bidirectional Encoder Representations from Transformers）是一个多层双向Transformer模型，它能够学习到上下文相关的词语表示，并且在多个下游任务上取得了卓越的效果。Teacher-Student架构。
浅析人脸活体检测技术的实现过程及其应用领域
最新发布
智能图像识别
09-30 212
这些技术能够捕捉人脸的细微特征，如皮肤纹理、血管模式、眼动等，以及人脸的动态行为，如眨眼、微笑等，从而准确区分真实人脸与伪造图像。人脸活体检测技术在金融支付领域的应用日益广泛，该技术主要通过分析人脸图像中的生物特征以及行为特征，判断人脸图像是否来自真实的生物个体，以防范照片、视频等伪造手段的攻击，从而确保支付过程的安全性。门禁系统：在写字楼、小区、机场等场所的入口控制中，人脸活体检测技术可以替代传统的钥匙和密码，提供更加安全和便捷的出入管理方式。图像采集：首先，通过摄像头等图像采集设备获取人脸图像。
谷歌发布Imagen 3，超过SD3、DALL・E-3，谷歌发布新RL方法，性能提升巨大，o1模型已证明
代码讲故事
09-27 1035
谷歌发布Imagen 3，超过SD3、DALL・E-3，谷歌发布新RL方法，性能提升巨大，o1模型已证明。 谷歌DeepMind发布了全新文生图模型Imagen 3，在文本语义还原、色彩搭配、文本嵌入、图像细节、光影效果等方面相比第二代大幅度提升。 Imagen 3的评测效果也比SD3、DALL・E-3、Midjourney等知名开闭源模型更好。目前，Imagen 3已经可以在美国地区使用，未来谷歌会持续扩大使用范围。
HalconDotNet实现二维码识别功能详解
仰望星空的博客
09-27 373
在HalconDotNet中，实现二维码识别功能主要涉及多个步骤和技术。以下是二维码识别的几个重要方面，包括二维码图像预处理、二维码定位、二维码解码等。每个步骤都有详细的介绍和相应的C#示例代码。
计算机视觉实战项目4（图像分类+目标检测+目标跟踪+姿态识别+车道线识别+车牌识别+无人机检测+A*路径规划+单目测距与测速+行人车辆计数等）
阿利同学的博客
09-24 1990
往期热门项目回顾： 计算机视觉项目大集合 改进的yolo目标检测-测距测速 路径规划算法 图像去雨去雾+目标检测+测距项目 交通标志识别项目 yolo系列-重磅yolov9界面-最新的yolo 姿态识别-3d姿态识别 深度学习小白学习路线 AI健身教练-引体向上-俯卧撑计数代码-仰卧起坐姿态估计-康复训练姿态识别-姿态矫正（附代码） yolov8双目测距-yolov8+sgbm（原理+代码） yolov5单目测距+速度测量+目标跟踪（算法介绍和代码 YOLOv8界面-目标检测+语义分割
《OpenCV 计算机视觉》—— 图像拼接
weixin_73504499的博客
09-30 520
【代码】《OpenCV》—— 图像拼接。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值