LLM-201902：GPT-2（15亿参数、40GB数量语料）【强调无监督多任务训练】【所有的有监督学习都是无监督语言模型的一个子集，下游任务Fintune时不用重新调整模型结构】

已于 2023-07-28 10:57:01 修改
阅读量226 收藏
点赞数
分类专栏： # LLM/经典模型 文章标签： gpt
于 2023-07-28 10:16:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/131974546
版权
GPT-2是通过无监督预训练模型进行有监督任务的尝试，证明大规模语言模型能涵盖有监督学习任务。使用800万篇Reddit文章训练，模型容量越大，性能越优。在多个任务中表现出色，但无监督学习仍有提升空间。
摘要由CSDN通过智能技术生成
了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
专栏目录
订阅专栏
LLM-GPT系列：GPT-1（201806）【1.17亿、5GB】、GPT-2（201902）【15亿、40GB】、GPT-3（202005）【1750亿、45TB】【OpenAI】
u013250861的博客
02-24 1226
GPT1：Imporoving Language Understanding By Generative Pre-trainingGPT2：Lanuage Models Are Unsupervised Multitask LearnersGPT3：Language Models Are Few-shot LearnersGitHub：https://github.com/openai/gpt-3从GPT三个版本的论文名也能看出各版本模型的重点：ChatGPT一夜走红，它会成为下一代搜索引擎吗？[转] GP
大语言模型的开山之作—探秘GPT系列：GPT-1-GPT2-GPT-3的进化之路
小小帅
02-22 1789
目前NLU（Natural Language Understanding）方向的局限性：有标签的数据相对较少，限制了模型性能的提升。此外，目前预训练语言模型存在一定的局限性1.不能通用：不同损失函数在各个任务上表现差异大，训练数据集并没有包含各个NLP任务。2.不统一：将预训练语言模型迁移到下游任务的方法不统一，不同的子任务，有时还需要调整模型结构。
GPT-1、GPT-2和GPT-3模型详解及其进化之路
皮皮blog
09-22 3605
原文[OpenAI gpt模型基于Transformer的语言模型，其利用Transformer的decoder结构来进行单向语言模型的训练。GPT的核心思想是先通过无标签的文本去训练生成语言模型，再根据具体的NLP任务（如文本蕴涵、QA、文本分类等），来通过有标签的数据对模型进行fine-tuning。文中所用的网络结构如下：​。
ChatGPT技术原理解析：从RL之PPO算法、RLHF到GPT4、instructGPT
热门推荐
结构之法 算法之道
01-15 19万+
本篇ChatGPT笔记会全力做到，通俗易懂且循序渐进(尽最大努力让每一个初学者哪怕是文科生都能没有障碍的读懂每一字一句、每一个概念、每一个公式) 一方面，对于想了解ChatGPT背后原理和如何发展而来的，逐一阐述从GPT/GPT2/GPT3到强化学习、PPO算法，最后再到instructGPT、ChatGPT、SeqGAN 且本文之前，99%的文章都不会把PPO算法从头推到尾，本文会把PPO从零推到尾，按照“RL-策略梯度-重要性采样(重要性权重)-TRPO(增加信任区域和KL散度约束)-PPO”的顺序逐步
DS：《What Are the Data-Centric AI Concepts behind GPT Models?》解读—GPT-1/GPT-2/GPT-3系列对比(语料大小+参数量+解码层数+
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
05-27 1295
​ DS：《What Are the Data-Centric AI Concepts behind GPT Models?》解读—GPT-1/GPT-2/GPT-3系列对比(语料大小+参数量+解码层数+上下文长度+隐藏层大小) 目录 《What Are the Data-Centric AI Concepts behind GPT Models?》翻译与解读 LLMs的成功主要归功于大量和高质量的训练数据、以GPT为例引出数据中心AI的三个目标=训练数据开发+推理数据开发+数据维护
LLMs之FLM-101B：《FLM-101B: An Open LLM and How to Train It with $100K Budget一个开放的LLM和如何用10万美元的预算训练训它》翻
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
09-26 2288
​ LLM之FLM-101B：《FLM-101B: An Open LLM and How to Train It with $100K Budget一个开放的LLM和如何用10万美元的预算训练训它》翻译与解读 目录 《FLM-101B: An Open LLM and How to Train It with $100K Budget》翻译与解读 Abstract摘要 1 Introduction引言 2 Design Overview of FLM-101B—FLM-1
基于LangChain+LLM的本地知识库问答：从企业单文档问答到批量文档问答
结构之法 算法之道
07-05 10万+
本文则侧重讲解 1 什么是LangChain及langchain的整体组成架构 2 解读langchain-ChatGLM项目的关键源码，不只是把它当做一个工具使用，因为对工具的原理更了解，则对工具的使用更顺畅 3 langchain-ChatGLM项目的升级版langchain-chatchat
GPT系列：GPT-2模型结构简述和实践_gpt2
2401_85379281的博客
07-20 851
GPT的背景来源和发展简述GPT的自回归工作方式图解GPT-2的网络结构GPT的解码采样策略minGPT源码分析和文本生成实战。
LLaMA的解读与其微调(含LLaMA 2)：Alpaca-LoRA/Vicuna/BELLE/中文LLaMA/姜子牙
结构之法 算法之道
03-22 7万+
还开始研究一系列开源模型(包括各自对应的模型架构、训练方法、训练数据、本地私有化部署、硬件配置要求、微调等细节)​该项目部分一开始是作为此文《》的第4部分，但但随着研究深入 为避免该文篇幅又过长，将把『第4部分 开源项目』抽取出来 独立成本文。
LLM-2022：PaLM【参数量：5400亿（540B）；训练集token数量：780B】【①SwiGLU激活函数、②RoPE/旋转位置编码】【基于Pathways的大语言模型】
u013250861的博客
12-30 1374
大型语言模型已被证明在各种自然语言任务中使用few-shot学习取得了显著的性能，这极大地减少了使模型适应特定应用所需的特定任务训练实例的数量。为了进一步了解规模对few-shot学习的影响，我们训练了一个5400亿参数、密集激活的Transformer语言模型，我们称之为Pathways语言模型（PaLM）。我们使用Pathways在6144个TPU v4芯片上训练PaLM，这是一个新的ML系统，能够在多个TPU Pods上进行高效的训练。
LLM-202210：GLM【开源双语预训练语言模型】
u013250861的博客
05-08 925
在本文中，我们介绍了100B规模模型GLM-130B的预训练，包括工程上的努力、模型设计选择、为了效率和稳定性的训练策略、用于降低推理成本的量化。因为人们已经普遍意识到，枚举训练100B规模LLM的所有可能设计在计算资源上无法负担，因此我们不仅程序训练GLM-130B成功的部分，也介绍许多失败的选择来吸取经验。在我们尝试的过程中，我们逐渐意识到相比于训练10B的模型，训练一个100B以上的稠密LLM面临着许多意想不到的技术和工程的挑战，例如预训练效率、稳定性和收敛等。
【GPT-3】第1章 大型语言模型时代
sikh_0529的博客
09-28 7789
您无需从头开始构建模型来解决您的问题，而是使用针对更一般问题进行训练的模型作为起点，并使用特别策划的数据集在您选择的领域对其进行更具体的训练。它的数据集和模型都比用于 GPT-2 的数据大两个数量级：GPT-3 有 1750 亿个参数，并且在混合了五个不同的文本语料库上进行了训练，这比用于训练 GPT 的数据集大得多-2。该实验的结果是一个具有新的非凡能力的模型，以 GPT-3 的形式出现。对于我们的示例，我们会说编码器是以法语为母语的人，而解码器是以英语为母语的人。GPT 只是变压器的解码器部分。
反射是一个新的AI模型，可以在一台性能良好的笔记本上运行并在测试中击败GPT-4o
2401_87032549的博客
09-10 668
Reflection 70B是由Matt Schumer及其团队在HyperWrite开发的一种突破性的开源语言模型。其全称是Reflection Llama 70B，因为它基于Meta Llama架构。该模型的名称来源于两个方面：其参数规模为700亿，以及其在提供最终答案前“反思”自身输出的能力。这个反思过程旨在增强模型的推理能力并提高其回答的总体准确性。我很高兴宣布Reflection 70B，这是全球顶级开源模型。
完整gpt应用（自用）
2301_76620728的博客
09-15 354
把gpt_qrc.qrc转化成gpt_qrc.py。
《DB-GPT项目》专栏总目录
携梦问道的博客
09-10 725
❤️ 专栏名称：《DB-GPT项目》🌹 内容介绍：项目部署、大模型替换、底层源码修改、数据分析、数据可视化、自动化等，适合零基础和进阶的同学。🚀 订阅专栏：订阅后可阅读专栏内所有内容，专栏持续更新中，欢迎订阅！
人工智能GPT____豆包使用的一些初步探索步骤 体验不一样的工作
最新发布
小马哥的专栏
09-15 297
豆包工具是我使用比较频繁的一款软件，其集合了很多功能。对话 图像 AI搜索 伴读等等使用都非常不错。电脑端安装集合了很多功能。使用我的文案创作能力，您可以注意以下几个技巧：尽可能具体地描述文案的主题和目的。例如，如果是广告文案，说明产品或服务的特点、优势以及目标客户群体。确定文案的使用场景，比如是用于社交媒体、网站、传单还是其他地方。给出一些关键的关键词、短语或核心观点，这些能帮助我更好地把握文案的重点。提及您期望的文案风格，比如是简洁明了、生动活泼、专业严谨还是富有创意。明确告知我您需要的大致字数范围，
速通GPT：《Improving Language Understanding by Generative Pre-Training》全文解读
逐梦苍穹的博客
09-10 1003
速通GPT：Improving Language Understanding by Generative Pre-Training全文解读
GPT对话知识库——串口通信的数据的组成？起始位是高电平还是低电平？如何用代码在 FreeRTOS 中实现串口通信吗？如何处理串口通信中的数据帧校验吗？
玄奕子的博客
09-14 769
GPT对话知识库——串口通信的数据的组成？起始位是高电平还是低电平？如何用代码在 FreeRTOS 中实现串口通信吗？如何处理串口通信中的数据帧校验吗？
OpenAI闭门讨论会V3：GPT-4的未来与行业影响
"这是一份关于2023年3月19日OpenAI闭门讨论会的纪要，主要探讨了GPT-4及其对人工智能领域的影响，包括模型能力的发展、AI Native Apps的前景、大模型的市场格局以及特定场景下是否需要独立训练模型的议题。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值