- 博客(6)
- 收藏
- 关注
RSS订阅原创 【《大模型理论基础（So-Large-LLM）》Task 07： 分布式训练】
首先阐述了当前情况下所遇到的 *“内存墙”*的问题，从而强调分布式训练的必要性。之后介绍了四种分布式训练的策略：数据并行、模型并行、流水并行、混合并行。分布式训练中，依据是切分x还是w的不同，分为“数据并行”和“模型并行”策略。数据并行，就是将数据x进行切分，而每个设备上的模型w是相同的。模型并行，就是每个设备上的数据是完整的、一致的，而模型w被切分到了各个设备上，每个设备只拥有模型的一部分，所有计算设备上的模型拼在一起，才是完整的模型。
2024-01-26 18:31:53
936
1
原创 【《大模型理论基础（So-Large-LLM）》 Task06： 模型之Adaptation篇】
我们需要将大型语言模型适配到各种不同的下游任务中，这些任务可能与语言建模有很大不同。探测法（Probing）：探测法在冻结的语言模型之上训练一个特定任务的预测头，将语言模型视为良好的表示提取器。冻结语言模型倾向于限制该方法的表现能力。probing策略是使用线性的或浅前馈预测头，提供了一种灵活的方法来理解和解释深度学习模型的内部工作机制。固定长度表示的策略也进一步促进了这一目的，提供了灵活而有效的解决方案。微调（Fine-tuning）
2024-01-25 20:58:38
826
原创 【大模型理论基础（So-Large-LLM）Task03 模型架构】
为了更好的了解整体的功能结构（而不从一开始就陷入局部的结构细节），我们一开始先将语言模型（model）的看作一个黑箱（black box）（在后续的内容中再逐步的拆解），从形象化的概念理解上来说当前大语言模型（大：体现中模型的规模上）的能力，其可以根据输入需求的语言描述（prompt）生成符合需求的结果（completion）。
2024-01-23 20:06:55
913
1
原创 《大模型理论基础（So-Large-LLM）》Task 05 模型训练
本次任务主要讨论关于大语言模型的模型结构，主要分为目标函数和优化算法两个方面的内容。只包含解码器（Decoder-only）的模型：计算单向上下文嵌入（contextual embeddings），一次生成一个token。自回归语言模型算是一种常见的Decoder-only模型，自回归语言模型通过定义条件分布pxi∣x1i−1pxi∣x1i−1来计算每一个token所出现的概率。同时可以利用最大似然法对于上述的定义的条件分布进行优化。
2024-01-23 19:57:58
904
原创 【大模型理论基础 （So-Large-LLM） Task02 大模型能力 】
困惑度解释为模型在预测下一个词时的平均不确定性，用于衡量语言模型的性能GPT-3在广泛的标准NLP基准测试和一次性任务上进行了评估。GPT-3可以表现得极好或者非常普通。增加模型的大小和示例的数量都有助于提高性能。有一些启发式的方法可以将语言模型适应到感兴趣的任务。但是为什么会有这样表现，没有人知道。
2024-01-17 20:05:02
831
原创 【大模型理论基础 （So-Large-LLM） Task01 引言】
今日主要了解大模型的基本概述，学习到了大模型的概念、自回归语言模型、信息熵与交叉熵、N-gram模型以及神经语言模型。其中自回归语言模型中引入了模拟退火算法中的温度参数用于调节迭代过程中的条件概率分布。主要的神经网络语言模型为Recurrent Neural Networks（RNNs），包括长短期记忆（LSTMs），Transformers框架。
2024-01-15 11:45:41
360
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人