Transformer两大发展方向——GPT系列及BERT（二）

最新推荐文章于 2024-11-02 14:03:47 发布
最新推荐文章于 2024-11-02 14:03:47 发布
阅读量845 收藏 10
点赞数 21
文章标签： transformer bert prompt 计算机视觉 大模型 RAG LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_81940605/article/details/142615555
版权

前面讲解了GPT、BERT相关内容，这一篇记录剩下GPT-2、GPT-3、GPT-4。
在这里插入图片描述

五、GPT-2

PDF: Language Models are Unsupervised Multitask Learners

5.1 背景及思想

GPT-1提出不久就被Google提出的BERT采用更大的模型更大的数据集给超过了，前面提到GPT采用的是Transformer的解码器结构，而BERT采用的是编码器结构，那在GPT的基础上，肯定不能选择换回编码器结构，不然就承认被超越了，前面也提到GPT是预测下一个词，其保证条件概率最大化，这个相比于BERT能看到前后信息而言难度更大，但相应的其天花板肯定也越高，所以最直接的一个想法就是选择一个更大的数据集，来训练一个更大的GPT模型，但直接暴力解决，创新度肯定不够，因此还强调了Zero-shot作为一个贡献点。

5.2 相关内容

大体内容上和GPT类似，这里主要不同点在于Zero-shot。

  • zero-shot

前面GPT是先在一个大数据集上训练好模型，然后再在下游子任务上进行微调，这里要把子任务通过构造成句子，这就会引入一些分割符，在微调训练的过程中会认识这些符号，但如果采用Zero-shot，开始训练好的模型不一定能认识这些符号啊，那关键就在于如何处理这之间的差异。其实论文中采用的方法就是Prompt，也就是提示工程(可参考MAML)，保证输入尽可能的在训练过程中都见过。如：
英语翻译成法语，那构造变成： (translate to french, english text, french text)
还有阅读理解任务，构造变成：(answer the question, document, question, answer).

  • 训练数据

采用的是Reddit数据集，是一个新闻聚合网页，作者从里面挑选karma数量大于3的新闻作为训练数据，karma可以简单理解成点赞数。

  • 网络结构

结构上和GPT类似，只是解码器层数增加了，训练了几个不同的版本
在这里插入图片描述

5.4 效果

  • 和zero-shot的一些方法进行比较

采用一个这么大的模型去和原先的方法比，效果肯定要好不少。哈哈哈
在这里插入图片描述

  • 几个版本在不同任务上的表现

估计这里想展示的是随着模型的增大，效果还在提升
在这里插入图片描述

六、GPT-3

PDF: Language Models are Few-Shot Learners

1 背景及思想

GPT-2追求的是Zero-shot，也就是零样本推理，但准确度上肯定没有在子任务上微调的那么好，GPT-3主要强调Few shot，即在推理时选择少量样本一起输入进去作为参考，其效果会更好，注意这里不是把样本丢进去微调，而是作为输入，不会去更改模型的权重。
下图比较了zero-shot one-shot few-shot和微调的区别，Zero-shot、one-shot和few-shot是上下文学习，不会改变权重参数。

在这里插入图片描述

2 相关内容

GPT-3文献是一篇技术报告，有70多页，大部分展示的是实验结果。这里主要介绍下zero-shot、one-shot和few-shot，以及训练的数据

2.1 Few-shot、One-shot、Zero-shot

这几个的主要区别在于输入时提供的样本数量，用于推理时进行上下文学习。
在这里插入图片描述

好处是不需要重新训练，但是没法保存一个样本上下文学习的特征，每次都要重新输入，而且如果有一个好的数据集，一次可能也输入不了那么多。

2.2 训练数据

从以下数据集按不同权重进行抽样，对于Common Crawl数据集做了一定的过滤，措施包括保留正类和去重。

  • 保留正类
    由于Common Crawl质量参差不齐，这里是将GPT-2的数据集Reddit作为正类，然后Common Crawl作为负类训练了一个二分类模型，对Common Crawl中预测结果偏正类的提取出来
  • 去重
    采用lsh算法对提取的数据进行去重，lsh常用于判断两个大型词集合之间的相似度

在这里插入图片描述

3 网络结构

整体结构上和GPT-2类似，只是层数和宽度上进行了调整，训练了以下几个版本，GPT-3相比于GPT-2要更加宽一些。
在这里插入图片描述

4 效果

  • few-shot one-shot zero-shot的效果比较
    在这里插入图片描述

  • 训练收敛次数和计算量的关系
    要使得训练效果线性增加，其计算量需要成倍数增加，那要求的数据量也会更大
    在这里插入图片描述

  • 和Zero-shot SOTA比较
    在这里插入图片描述

    在这里插入图片描述

  • 翻译应用
    在这里插入图片描述

  • 可能存在的问题
    里面作者例举了一些可能会存在的一些问题，比如可能会散布假消息、由于训练数据集问题可能存在种族、性别、宗教问题，当然还有能耗比较大。
    这里截取不同地区的图片，可以看出地域还是存在很大差别，其他还有很多图表可以看原文。
    在这里插入图片描述

七、GPT-4

PDF: GPT-4 Technical Report

1 背景及思想

前面的GPT模型主要是处理文本，GPT4是一个多模态模型，输入可以是文本或者图片，还可以处理视频。当然近期还推出了GPT4o，在逻辑处理上更加强悍。

2 相关内容

GPT4论文也是一篇长达99页的技术报告，里面大多数是一些实验结果，看起来好像讲了很多，但看完好像又没啥，这里主要提以下几点

  • RLHF
    预训练好的模型有时候回答会和人想要的结果相差较大，采用RLHF对模型进行了微调。RLHF的功能主要是对模型进行控制，是模型能更好地按照人的意图进行回答。
    在这里插入图片描述

    RLHF可参考：Deep reinforcement learning from human preferences

  • 准测预测模型训练结果
    在小规模的计算成本下，可以预估成本扩大后最终训练完时Loss。
    在这里插入图片描述

  • 支持图像输入
    还有更多的例子可参考：https://openai.com/index/gpt-4-research/
    在这里插入图片描述

    在这里插入图片描述

3 效果

  • 考试
    在各种考试上相比于GPT3.5提升不少，比如通过司法考试，还排名靠前10%
    在这里插入图片描述

  • 在不同语言上表现
    在这里插入图片描述

  • 分类
    在这里插入图片描述

  • 问答
    在这里插入图片描述

八、小结

最开始是Transformer，引入自注意力机制处理文本，并提出编码器-解码器结构，GPT可以看成在其基础上跳跃了一大步，借助Transformer的解码器，在一个大数据集上训练好模型，然后再在下游任务上进行微调，但不久后被BERT采用编码器结构给超越了，因此GPT2以后就是把模型做大做强，由于GPT选择是编码器，只能用已知数据去预测，其训练难度更大，当然对应的效果肯定也会越好，GPT3到GPT4是模型进一步扩大。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

AI小白龙*
关注
Transformer 文本生成实战——GPT2
AI天才研究院
09-17 1195
GPT (Generative Pre-trained Transformer) 是由 OpenAI 团队在 2019 年提出的一种无监督语言模型。GPT 的主要思想就是用大量无标注的数据训练一个模型，然后利用这个模型生成新的数据。模型通过学习如何合理地组合上下文中的片段，生成高质量的句子或文本。在 GPT 之前，还有其他一些语言模型比如 BERT 和 RoBERTa，它们也采用了类似的方式进行预训练。但是相比于传统的基于统计方法的语言模型，GPT 在很多方面都有了革命性的突破。
深入理解Transformer：BERT和GPT的神奇之旅
AI天才研究院
12-30 1255
自从2017年的“Attention is all you need”一文发表以来，Transformer架构已经成为自然语言处理（NLP）领域的主流架构。Transformer的出现使得深度学习模型从传统的循环神经网络（RNN）和卷积神经网络（CNN）逐渐转向自注意力机制（Self-Attention）和并行计算，从而实现了巨大的性能提升。
Transformer两大发展方向——GPT系列及BERT（一）
2301_81940605的博客
10-01 1771
前面介绍了Transformer，随着其发展在NLP领域应用越来越多，在其基础上主要有两篇影响非常大的文章，一篇是GPT，另一篇是BERT。
Transformer导论之GPT
lyclyc233的博客
03-25 2145
GPT全称为Generative Pre-trained Transformer，它使用了Transformer中的Decoder架构，并通过大规模的无监督预训练来提高模型的表现力。在预训练阶段，GPT通过处理大量的无标注文本数据，学习到了语言的统计规律和上下文信息。在实际应用时，GPT可以通过微调（fine-tuning）的方式，根据具体任务的需求，对预训练的模型进行微小的调整，从而适应不同的文本生成、问答等任务。GPT在自然语言生成和处理任务上表现出色，在多个公开数据集上都取得了很好的成绩。
自然语言处理：Transformer与GPT
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
11-20 2544
Transformer提供了一种强大的架构，而GPT则是这种架构在特定领域（如文本生成）的一个成功应用。随着深度学习和NLP技术的发展，Transformer架构和基于它的各种模型（如GPT）将继续在多个领域发挥重要作用。
GPT中的Transformer架构以及Transformer 中的注意力机制
cumtchw
04-11 1794
看了两个比较好的视频，简单做了下笔记。
Transformer、Bert、Gpt对比系列，超详细介绍transformer的原理，bert和gpt的区别
L_goodboy的博客
05-23 1万+
Transformer、Bert、Gpt对比系列，超详细介绍transformer的原理，bert和gpt的区别；Transformer、Bert、Gpt对比系列，超详细介绍transformer的原理，bert和gpt的区别
AIGC实战——GPT(Generative Pre-trained Transformer)
盼小辉丶的博客
03-11 3583
注意力机制能够用于构建先进的文本生成模型，Transformer 是用于序列建模的强大神经网络，该神经网络不需要复杂的循环或卷积架构，而只依赖于注意力机制。这种方法克服了循环神经网络难以并行化的缺陷。Transformers 高度可并行化运算，能够在大规模数据集上进行训练。在本节中，我们将学习文本生成模型如何利用 Transformer 架构提高文本性能，并介绍自回归模型 GPT (Generative Pre-Trained transformer)。
Transformer大模型实战 DistilBERT 模型——BERT模型的知识蒸馏版本
AI天才研究院
07-03 842
在自然语言处理（NLP）领域，预训练模型如BERT、GPT等展示了强大的文本理解和生成能力，但在实际部署时面临着巨大的计算和存储成本。尤其对于需要在资源受限设备上运行的应用场景，如何在保持高性能的同时降低模型大小成为了一个关键问题。BERT（Bidirectional Encoder Representations from Transformers）是一个多层双向Transformer模型，它能够学习到上下文相关的词语表示，并且在多个下游任务上取得了卓越的效果。Teacher-Student架构。
大模型（Large Language Models, LLMs）是指拥有大量参数的机器学习模型，如GPT系列、BERT、ERNI
09-20
大模型实战教程：大模型（Large Language Models, LLMs）是指拥有大量参数的机器学习模型，如GPT系列、BERT、ERNIE等，这些模型通常在大规模数据集上训练，并能够执行各种自然语言处理任务。下面是一个关于如何构建...
Transformer、Bert、GPT简介
interestingzhou的博客
03-09 2069
这是刚开始学习Transformer时的疑惑记录，并没有很多内容，只限于自己学习
GPT模型与Transformer进行对比
小姑仔的博客
04-06 6017
gpt2与gpt的模型结构差别不大，但是采用了更大的数据集进行实验。 gpt采用的训练方法分为两步，第一步利用没有标签的文本数据集训练语言模型，第二步是根据具体的下游任务，例如QA，文本分类等对模型进行微调。 预训练：和传统的语言模型一样通过上文预测下一个单词 例如给定一个句子[u1,u2,…un]，GPT在预测单词ui的时候只会利用[u1,u2,…u(i-1)]的信息，而BERT会利用[u1,u2,…,u(i-1),u(i+1),…un]的信息 模型效果：GPT因为采用了传统语言模型所以更加适合用于自然语
文本生成：Transformer与GPT模型
qq_33578950的博客
04-12 1356
GPT（Generative Pre-trained Transformer）是一个基于Transformer的大型预训练语言模型。GPT在自然语言处理任务中具有出色的表现，特别是在文本生成方面。GPT模型采用单向自注意力机制，只能关注到序列中之前的单词，因此具有较强的生成能力。本文详细介绍了Transformer和GPT模型在文本生成领域的原理，包括自注意力机制、位置编码和解码器等关键概念。通过实际的代码示例，展示了这些原理在实践中的应用。
深度学习：BERT模型
热门推荐
皮皮blog
12-18 4万+
BERT出自的全称是Bidirectional Encoder Representation from Transformers，即双向Transformer的Encoder。作为一个Word2Vec的替代者，其在NLP领域的11个方向大幅刷新了精度，可以说是近年来自残差网络最优突破性的一项技术了。模型的主要创新点都在pre-train方法上，即用了Masked LM和Next Sentence Prediction两种方法分别捕捉词语和句子级别的representation。
Transformer研究综述（BERT，GPT-3，ViT，DETR...）
AIGC Studio：分享AIGC前沿知识和好玩应用，公众号同名。
03-10 4179
最近整理了一些关于Transformer模型的研究综述，从17年Google最先提出到后来Transformer横扫各大NLP任务，到后来的视觉Transformer，参考文献附在最后，大家一起交流学习。 Google在2017年首次提出Transformer模型[1]，如图1所示，该模型使用编码器和解码器的堆叠自注意层和点向全连接层并使用Attention替换了原来Seq2Seq模型中的循环结构，避免了重复和卷积。Transformer模型的出现使得NLP领域各项任务性能得到极大提升。 图1.Tr
Transformer模型的改进-GPT
mudongcd0419的博客
11-07 1808
论文翻译 | Legal Prompt Engineering for Multilingual Legal Judgement Prediction
m0_49651195的博客
11-02 1015
法律提示工程（LPE）或法律提示是一种过程，用于指导和协助大型语言模型（LLM）执行自然法律语言处理（NLLP）技能。我们的目标是使用LPE与LLMs处理长篇法律文档，以完成法律判决预测（LJP）任务。我们研究了零样本LPE在处理欧洲人权法院（英文）和瑞士联邦最高法院（德语、法语和意大利语）案例文本中的事实时的表现。我们的结果显示，与基线相比，零样本LPE表现更好，但与当前最先进的监督学习方法相比仍有差距。
论文 | Legal Prompt Engineering for Multilingual Legal Judgement Prediction
最新发布
m0_49651195的博客
11-02 416
总体而言，这篇文章为 LPE 在法律领域的应用提供了有价值的探索，并展示了其在 LJP 任务上的潜力。LPE 的概念： LPE 是指通过设计特定的提示（prompt）来引导 LLM 进行自然语言处理（NLP）任务，无需额外的训练或微调。可以根据不同的任务特点，设计相应的提示模板，并评估 LPE 方法的有效性。提示设计的重要性： 研究强调了提示设计在 LPE 方法中的重要性，并展示了如何通过迭代的方式优化提示模板。可以尝试使用更强大的 LLM、设计更复杂的提示模板、或者结合监督学习方法。
深度学习三大巨头：Transformer, BERT与GPT解析
"Transformer, BERT, and GPT——深度学习中的重要模型" 本书深入探讨了Transformer、BERT和GPT这三个在深度学习领域至关重要的模型。Transformer是2017年Google提出的革命性序列建模架构，彻底改变了自然语言处理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值