【新书】构建大型语言模型，教你学习如何从零开始创建、训练和调整大型语言模型（LLMs），附370页pdf

于 2024-10-06 11:17:59 发布
阅读量145 收藏 2
点赞数 2
文章标签： 语言模型 学习 pdf 人工智能 agi ai LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YoungOne2333/article/details/142724656
版权

在《从零构建大型语言模型》一书中，畅销书作者塞巴斯蒂安·拉什卡（Sebastian Raschka）将一步步指导你创建自己的LLM。每个阶段都有清晰的文字、图表和示例解释。从最初的设计和创建，到基于通用语料库的预训练，再到为特定任务进行微调，你将全面掌握每个步骤。

《从零构建大型语言模型》教你如何：

  • 规划和编写LLM的所有组件代码

  • 准备适合LLM训练的数据集

  • 为文本分类及自有数据微调LLM

  • 使用人类反馈确保LLM遵循指令

  • 将预训练的权重加载到LLM中

《从零构建大型语言模型》将带你深入AI的“黑箱”，让你调整生成式AI的内部系统。在LLM创建的每个关键阶段，你将深入理解LLM的工作原理、它们的局限性以及它们的定制方法。你可以在普通笔记本电脑上开发LLM，并将其用作个人助手。

关于技术

据说物理学家理查德·费曼（Richard P. Feynman）曾表示：“我无法理解任何我不能自己构建的东西。”基于这一强大的原则，畅销书作者塞巴斯蒂安·拉什卡将引导你逐步构建一个GPT风格的LLM，它可以在你的笔记本电脑上运行。这是一本引人入胜的书籍，涵盖了从规划、编码到训练和微调的每个阶段。

关于本书

《从零构建大型语言模型》是一段充满实践性和成就感的动手旅程，深入探索生成式AI的基础。在不依赖任何现有LLM库的情况下，你将编写一个基础模型，将其发展为文本分类器，最终创建一个可以按照对话指令进行交互的聊天机器人。而且你会真正理解它，因为你是自己构建的！

下载当前版本： 完整PDF书籍链接获取，可以扫描下方二维码免费领取👇👇👇

### 书中内容

  • 规划并编写一个与GPT-2相当的LLM

  • 加载预训练权重

  • 构建完整的训练管道

  • 为文本分类微调LLM

  • 开发遵循人类指令的LLM

读者对象

读者需要具备中级的Python技能和一些机器学习知识。你所创建的LLM可以在任何现代笔记本电脑上运行，并且可以选择使用GPU。

作者简介

塞巴斯蒂安·拉什卡（Sebastian Raschka）是Lightning AI的研究工程师，专注于LLM研究并开发开源软件。

本书的技术编辑是大卫·卡斯韦尔（David Caswell）。

目录

  1. 了解大型语言模型

  2. 处理文本数据

  3. 编写注意力机制

  4. 从零实现GPT模型生成文本

  5. 在无标签数据上进行预训练

  6. 为分类进行微调

  7. 为遵循指令进行微调
    附录A PyTorch简介
    附录B 参考文献和延伸阅读
    附录C 习题答案
    附录D 为训练循环增加附加功能
    附录E 使用LoRA进行参数高效微调



在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

下载当前版本： 完整PDF书籍链接获取，可以扫描下方二维码免费领取👇👇👇

嘴巴吃糖了
关注
百篇论文博文导航AI工程之路：FT、KG、RAG与Agent技术全方位探索
丨汀、的博客
07-08 426
百篇论文博文导航AI工程之路：FT、KG、RAG与Agent技术全方位探索
ChatGPT和大型语言模型（LLMs）： 实用指南
04-15
本课程由对话式人工智能工程师讲授，将教你如何使用大型语言模型（LLM），如ChatGPT，用于你自己的目的。你将学习所有关于提示设计和微调的知识，使用从Reddit刮来的数据或使用你自己的数据集。 你会学到什么 ...
【新书】从零构建大型语言模型，370页pdf
Langchain的博客
09-23 522
塞巴斯蒂安·拉什卡（Sebastian Raschka）是Lightning AI的研究工程师，专注于LLM研究并开发开源软件**。本书的技术编辑是大卫·卡斯韦尔（David Caswell）。塞巴斯蒂安·拉什卡从事机器学习和AI领域已有十多年。他于2022年加入Lightning AI，专注于AI和LLM研究，开发开源软件，并创作教育材料。在此之前，塞巴斯蒂安曾在威斯康星大学麦迪逊分校统计系担任助理教授，专注于深度学习和机器学习的研究。他对教育充满热情，以其畅销的开源软件机器学习书籍闻名。👉。
AI大神 Sebastian Raschka 发布新书《从零开始构建大语言模型》
u012744245的博客
06-25 688
书的地址：https://livebook.manning.com/book/build-a-large-language-model-from-scratch/这本书用清晰的文字、图表和示例解释每个阶段，从最初的设计和创建，到采用通用语料库进行预训练，一直到针对特定任务进行微调。配套的代码：https://github.com/rasbt/LLMs-from-scratch。，我将分享更多自己的学习心得、避坑总结、面试经验、AI最新技术资讯。这本书的配套代码也已经在 GitHub 上开源了。
【新书】大语言模型手册：语言理解与生成，191页pdf
2301_82275412的博客
06-25 1016
在过去的几年里，人工智能在语言能力方面取得了惊人的新进展。由深度学习的快速进步所推动，语言AI系统在编写和理解文本方面的能力比以往任何时候都要好。这一趋势促成了新功能、产品乃至整个行业的崛起。通过这本书，Python开发者将学习到使用这些能力所需的实用工具和概念。你将学习如何利用预训练的大型语言模型的力量，用于像文案写作和摘要等用例；创建超越关键词匹配的语义搜索系统；构建分类和聚类文本的系统，以实现对大量文本文档的可扩展理解；以及使用现有库和预训练模型进行文本分类、搜索和聚类。
Llama模型家族之使用 Supervised Fine-Tuning（SFT）微调预训练Llama 3 语言模型（十） 使用 LoRA 微调常见问题答疑
段智华的博客
05-28 1224
1、Llama开源模型家族大模型技术、工具和多模态详解：学员将深入了解Meta Llama 3的创新之处，比如其在语言模型技术上的突破，并学习到如何在Llama 3中构建trust and safety AI。8、Llama 3中的DPO原理、算法、组件及具体实现及算法进阶：学习Llama 3中结合使用PPO和DPO算法，剖析DPO的原理和工作机制，详细解析DPO中的关键算法组件，并通过综合项目八从零开始动手实现和测试DPO算法，同时课程将解密DPO进阶技术Iterative DPO及IPO算法。
重磅开源：从零构建大型语言模型，标星20.3K
机器学习算法与Python学习
06-25 96
机器之心报道近期，机器学习和 AI 研究员、畅销书《Python 机器学习》作者 Sebastian Raschka 又写了一本新书 ——《Build a Large Language Model (From Scratch)》，旨在讲解从头开始构建大型语言模型的整个过程，包括如何创建、训练和调整大型语言模型。当前，已在 GitHub 上开源了这本新书对应的代码库。项目地址https://gith...
2024外网传疯了的LLM大模型书籍：从零构建大型语言模型，标星20.6K，还没出版就爆火的神作
python123456_的博客
09-20 1373
个人主页：https://sebastianraschka.com/Sebastian Raschka 是一名机器学习和人工智能研究员，曾在威斯康星大学麦迪逊分校担任统计学助理教授，专门研究深度学习和机器学习。他让关于 AI 和深度学习相关的内容更加容易获得，并教人们如何大规模利用这些技术。此外，Sebastian 热衷于开源软件，十多年来一直是一个充满热情的开源贡献者。他提出的方法现已成功应用于 Kaggle 等机器学习竞赛。
RAG实战宝典：从零开始构建高效的检索增强模型
程序员鑫港的博客
08-07 1086
随着通用大型语言模型如GPT系列和BERT等的迅速崛起，RAG作为自然语言处理技术的新星，凭借其创新的融合检索与生成机制，在处理知识密集型NLP任务方面展现出显著优势，极大地增强了模型在开放域问答、对话系统等场景下的回答质量和相关性。具体而言，RAG通过一个精妙设计的双阶段过程运作：首先，检索模块高效地从庞大的外部知识库中筛选并抓取与查询最为相关的背景信息;随后，这些精准的信息被馈送给生成模块，用以指导和丰富最终答案的生成过程，确保输出既符合语境又高度准确。尽管RAG模型在提升生成内容的质量与可信度上取得了
AI大模型日报#0528:Greg专访 | 为什么OpenAI最先做出GPT-4、xAI获60亿美元融资、李飞飞经典对话Hinton
常政·视角
05-28 1849
AI大模型日报，爬虫+LLM自动生成，一文览尽每日AI大模型要点资讯！
自适应自我监督学习策略提升大型语言模型个性化能力
09-28
主要内容：提出了一种名为ASLS的自适应自监督学习策略来增强在设备上部署的大型语言模型（LLMs）的个性化水平。通过对用户互动数据进行收集，并实时调整模型参数的方式使ASLS可以在无须大量人工标注的数据集的情况下...
使用MATLAB的大型语言模型（LLM）Large Language Models (LLMs) with MATLAB
07-27
使用MATLAB的大型语言模型（LLM） 将MATLAB连接到Ollama（用于本地LLM）、OpenAI聊天完成API（支持ChatGPT）和AzureOpenAI服务 使用MATLAB的大型语言模型（LLM） 在MATLAB中打开文件交换上的MATLAB在线查看大型...
Generative AI 新世界：大型语言模型（LLMs）概述.pdf
08-26
大型语言模型（LLMs）是近年来人工智能领域的热门话题，具有数十亿参数的预训练语言模型可以用于各种自然语言处理任务，如文本生成、机器翻译和自然语言理解等。今天，我们将探讨大型语言模型的发展历史、语料来源、...
Go基础学习08-并发安全型类型-通道（chan）深入研究
FLJS_T的博客
09-28 910
在前面学习中了解到对于单值变量，如：int、string；多值变量，如：map存在多协程对资源竞争的并发问题，为了解决并发性通常需要引入sync.Mutex解决。>对于通道的基本声明方式有三种：声明并初始化带缓冲的通道（ch1）；声明并初始化一个不带缓冲的通道（ch2）；仅仅声明一个通道（ch3） >什么是通道：==一个通道相当于一个先进先出（FIFO）的队列。也就是说，通道中的各个元素值都是严格地按照发送的顺序排列的，先被发送通道的元素值一定会先被接收。Select和for循环实现对channel的多次选
10.2学习
2401_87363162的博客
10-02 1125
​ Spring AOP就是基于动态代理的，如果要代理的对象，实现了某个接⼝，那么Spring AOP会使⽤JDKProxy，去创建代理对象，⽽对于没有实现接⼝的对象，就⽆法使⽤ JDK Proxy 去进⾏代理了，这时候Spring AOP会使⽤基于asm框架字节流的Cglib动态代理 ，这时候Spring AOP会使⽤ Cglib ⽣成⼀个被代理对象的⼦类来作为代理。每个线程中都有一个自己的ThreadLocalMap类对象，可以将线程自己的对象保持到其中，各管各的，线程可以正确的访问到自己的对象。
从0学习React（3）
qq_54432917的博客
09-29 765
在第一篇文章中，我们对index.tsx文件的每一行代码都做了简单的分析。通过第一篇文章的总结，我也大致知道了index.tsx里的很多语法。而第二篇文章，我对index.tsx文件的框架做了一个大致的分析，通过第二篇文章，我对index.tsx有了进一步的认识。按理来讲，第三篇文章我还是解析index.tsx文件，但是我发现，对于前两篇文章，其实我对语法的细节有很多不明白的点。因此这篇文章，我就把React的一些最基础的知识给梳理一下，帮助我更好的理解index.tsx的代码。
Go基础学习10-原子并发包sync.atomic的使用：CSA、Swap、atomic.Value......
最新发布
FLJS_T的博客
10-02 891
原子操作sync.atomic以及原子变量atomic.Value详细介绍。go中原生的支持原子操作的函数支持的变量类型int32、int64、uint32、uint64、uintptr，以及unsafe包中的Pointer。对于上述原子操作类型中的每一个，可以支持的数据类型有：==int32、int64、uint32、uint64、uintptr，以及unsafe包中的Pointer。但是否sync.Mutex变量能够保证操作的原子性。atomic.Value类型是开箱即用的，我们声明一个该类型的变量
6.824 Lab 2C 学习记录
kingsill的博客
09-29 318
最后10s，开始的时候，恢复网络，插入一个数据，等待这个数据被提交，如果超过这10s就报错。2C的test中的unreliable figure8算是给博主的迎头一棒，需要根据raft论文的figure8进行解决，leader。根据前任及博主自己的经验，unreliable figure8的除了上述这一点以外，需要对。博主由于之前的不严谨，给自己留下了很大的改进困难，最后不得不重构代码。进行一定的设计，可以参考课程里老师提出的意见。一下为博主的github仓库，需要的可以参考。有一定的考验，那么就需要对。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值