【LLM入门】Let‘s reproduce GPT-2 (124M)【完结，重新回顾一下，伟大！】

最新推荐文章于 2024-09-23 11:29:26 发布
最新推荐文章于 2024-09-23 11:29:26 发布
阅读量294 收藏 4
点赞数 8
分类专栏： 【LLM入门】 文章标签： gpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43154149/article/details/141299035
版权

文章目录

03:43:05 SECTION 4: results in the morning! GPT-2, GPT-3 repro
03:56:21 shoutout to llm.c, equivalent but faster code in raw C/CUDA
03:59:39 summary, phew, build-nanogpt github repo

03:43:05 SECTION 4: results in the morning! GPT-2, GPT-3 repro

在这里插入图片描述

保存模型，不止 模型参数

在这里插入图片描述

03:56:21 shoutout to llm.c, equivalent but faster code in raw C/CUDA【太牛了ba】

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

03:59:39 summary, phew, build-nanogpt github repo

在这里插入图片描述

算法研究员
关注
专栏目录
【LLM入门】Let‘s reproduce GPT-2 (124M) | 从零复现GPT2（Section 1） | Andrej Karpathy
py今天刷题了吗
08-16 831
使用hugging face 的transformer库，pytorch【学习代码，参考hugging face，非常多模型！用jupyter调试，然后再把code搬到py文件中！openai的gpt2 是 tensorflow写的。465,246次观看 2024年6月10日。forward 顺便返回 loss。随机初始化的 损失，
【LLM入门】Let‘s reproduce GPT-2 (124M) |Section3 训练和评估你的大模型【大模型训练技巧！！超参数，学习率，batchsize，梯度累计，DDP，评估】
py今天刷题了吗
08-18 498
from视频：https://www.youtube.com/watch?记住：每个进程知道的只有 ddp_rank,ddp_world_size, ddp_rank==0是主进程！gpu ddp全用上就是快，1.5 million tokens / sec。听Andrej Karpathy讲 优化过程，有点哲学！初始化：你必须考虑同时8个节点 运行这一段逻辑！468,654次观看 2024年6月10日。8个节点拥有的不同，只是ddp_rank。改变 dataloader。手写 学习率 改变函数。
【LLM入门】Let‘s reproduce GPT-2 (124M) | Section2 加快你的模型训练【混合精度训练，模型编译，flash attention，2的幂】
py今天刷题了吗
08-17 265
视频from：https://www.youtube.com/watch?gpu默认， 时间：1000ms【第一次比较慢，初始化一些】一行代码就可以加速/启用！【tf32，提升3倍！不同数据类型所能获得的计算量。每秒处理多少个token？
Build a Large Language Model (From Scratch)GPT-4o翻译和代码每行中文注释Ch 2
Czi.的博客
04-29 2772
LLM需要将文本数据转换为数值向量，称为嵌入，因为它们无法处理原始文本。嵌入将离散数据（如单词或图像）转换为连续向量空间，使它们与神经网络操作兼容。第一步，将原始文本分解为tokens，这些tokens可以是单词或字符。然后，tokens被转换为整数表示形式，称为token IDs。可以添加特殊tokens（例如和）来增强模型的理解并处理各种上下文，例如未知单词或标记(marking)不相关文本之间的边界。
LangChain 0.2 - 基于 SQL 数据构建问答系统
AI + 工程
05-28 1583
一、项目说明 ⚠️ 安全说明⚠️ 架构 二、设置 三、Chains 1、将问题转换为 SQL查询 2、执行 SQL查询 3、回答问题 四、Agents 1、System Prompt 2、初始化代理 3、处理高基数列
快速体验Ollama安装部署并支持AMD ROCm推理加速
IT菜鸟
08-16 2088
快速体验Ollama安装部署并支持AMD ROCm推理加速
阿里新发布的UniAnimate现高效人像动画生成；在ComfyUI中使用Stable 3模型；音频版的gpt2o；将 PDF 文档转换为音频播客
haleycat的博客
06-15 1713
不过模型过拟合，大多数时间生成的音频是乱码。受到Andrej’s “Let’s Reproduce GPT-2” 的启发，作者希望创建一个类似于OpenAI的GPT-4o或AudioPaLM的自动回归生成音频的模型，而且最好在普通消费者硬件上训练。通过使用OpenAI的文字转语音模型和Google Gemini，该工具处理PDF内容，生成适合音频播客的自然对话，并将其输出为MP3文件。：利用统一的视频扩散模型，将参考图像、姿势指导和噪声视频映射到一个共同特征空间，减少了优化难度并确保了时间上的一致性。
Speculative Sampling
bbbeoy的专栏
09-13 661
.
LLM-GPT系列：GPT-1（201806）【1.17亿、5GB】、GPT-2（201902）【15亿、40GB】、GPT-3（202005）【1750亿、45TB】【OpenAI】
u013250861的博客
02-24 1247
GPT1：Imporoving Language Understanding By Generative Pre-trainingGPT2：Lanuage Models Are Unsupervised Multitask LearnersGPT3：Language Models Are Few-shot LearnersGitHub：https://github.com/openai/gpt-3从GPT三个版本的论文名也能看出各版本模型的重点：ChatGPT一夜走红，它会成为下一代搜索引擎吗？[转] GP
GPT-4写代码能力提升21%！MIT新方法让LLM学会反思
03-26
GPT-4再度进化！ 加上一个简单方法，就能让GPT-4这类大语言模型学会自我反思，性能直接提升30%。 在此之前，大语言模型回答出错，经常是二话不说，直接先道歉，然后emmmmmm，继续乱猜。 现在，它不会这样了，有了新...
纯 C 语言训练 LLM GPT-2 框架开源代码
08-05
Andrej Karpathy 推出了一个名为 llm.c 的项目，旨在用纯 C 语言训练 LLM，这种方法的主要优势在于它显著减少了依赖库的体积——不再需要 245MB 的 PyTorch 和 107MB 的 cPython，这样可以使得模型训练过程更为轻量...
使用 GPT-Index 只需 10 行代码即可在自定义数据集上微调 GPT-3
04-26
在本文中，我们将探讨如何利用 GPT-Index 这个工具，通过短短的十行代码在自定义数据集上对 GPT-3 进行微调。GPT-3 是由 OpenAI 开发的先进预训练语言模型，以其强大的文本生成和理解能力著称。通过在大量文本数据上...
神奇LLM引擎帮你把GPT-3直接调成ChatGPT.zip
05-29
标题中的“神奇LLM引擎”可能是指一个特定的软件或技术，它允许用户将GPT-3模型转换或适应为类似ChatGPT的对话式AI系统。GPT-3是OpenAI开发的一个大规模语言模型，它能生成各种类型的文本，如文章、故事，甚至代码，...
探索 ShellGPT：终端中的 AI 助手
AIGC搞起
09-22 1045
在当今快速发展的技术领域，命令行界面（CLI）依然是开发者和系统管理员的强大工具。但记忆复杂的命令和语法对于新手来说可能是个挑战。这就是ShellGPT库应运而生的原因。它是一个基于 AI 大型语言模型（LLM）的命令行工具，能够理解自然语言并生成相应的 shell 命令、代码片段和文档，极大地提高了效率并减少了对外部资源的依赖。ShellGPT 是一个强大的命令行工具，它通过 AI 技术简化了命令行操作，使得用户能够更高效地完成任务。
3款免费的GPT类工具
qq_49086419的博客
09-18 1240
随着科技的飞速发展，人工智能（AI）的崛起与发展已经成为我们生活中不可或缺的一部分。它的出现彻底改变了我们与世界互动的方式，并为各行各业带来了前所未有的便利。
介绍GPT-o1:一系列解决困难问题（ science, coding, and math ）的推理模型
最新发布
Everyday try to become better -Kobe Bryant
09-23 881
这里有一个问题，就是，所招募的专家测试结果是找的各个专业的phd做完整的测试，然后取精确率的平均值作为对比数值，还是请他们分别做自己所属专业的部分试题，然后将结果汇总作为专家结果。我们认为，使用思维链可以在安全性和一致性方面取得重大进展，因为（1）它使我们能够以清晰的方式观察模型思维，（2）关于安全规则的模型推理对分布外的场景更稳健。然而，为了实现这一点，模型必须能够以不变的形式自由表达其思想，因此我们无法将任何政策合规性或用户偏好训练到思想链上。例如，在未来，我们可能希望监控思维链，寻找操纵用户的迹象。
探索MemGPT：AI界的新宠儿
AIGC搞起
09-22 1113
在AI的世界里，对话生成和文档分析等任务对上下文长度有着天然的需求。然而，现有的大型语言模型（LLMs）受限于固定长度的上下文窗口，这限制了它们在处理长对话或长文档时的能力。MemGPT的出现，就是为了解决这一难题。它通过智能管理不同存储层级，使得LLMs能够有效地处理超出其固定上下文窗口的上下文信息。MemGPT是一个创新的库，它通过模拟操作系统的内存管理技术，为LLMs提供了一种处理无限上下文的方法。无论是创建持久聊天机器人，还是进行复杂的文档分析，MemGPT都能提供强大的支持。
GPT-4与LLM技术趋势：封闭化与前沿探索
"这篇资源是一篇关于人工智能领域大型语言模型（LLM）技术发展趋势的分析，特别是基于GPT-4的发布。文章由张俊林撰写，他指出LLM研究的趋势正朝着封闭化或小圈子化的方向发展，由于竞争和安全因素，OpenAI不再公开...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值