大模型入门0: 基础知识

YueTann

已于 2024-01-05 21:16:11 修改

阅读量580

点赞数 5

文章标签： python

于 2024-01-01 01:45:42 首次发布

本文链接：https://blog.csdn.net/weixin_38812492/article/details/135320140

版权

本文探讨了Transformer在自然语言处理中的应用，介绍了BERT、GPT和T5等模型的预训练方法及其下游任务，重点讲述了大模型时代的零/少量样本学习、prompttuning和分布式训练技术，以及数据量、模型规模对模型性能的影响。

摘要由CSDN通过智能技术生成

大模型

本文结构

自然语言处理包括几大任务

几大范式

请添加图片描述

下游任务, 相比BERT对下游任务需要参数微调的代价，GPT3提出的prompt design, 通过instruction+prompt进行下游任务无需任何额外操作。后续Preﬁx-tuning: Optimizing continuous prompts for generation提出了prompt tuning效果更好
in context learning: (few shot prompting, zero-shot transfer) 不需要进行反向传播、参数更新，在模型inference阶段，为了让模型的能力迅速迁移到某个特定task，先给一些参考样例，模型就迅速领会，也就是example放在context里，模型从context领会，也就可以按照这个例子里的task输出了 .
instruction learning：更符合人类表达习惯的方式与LLM交互

大模型时代，则需要重点关注其zero-shot，few-shot，推理等能力。NLG通过prompt也能够实现NLU任务，主线逐渐变成了NLG任务。

PaLM: Pathways Language Model

Flan

LLama

大模型时代，很多观念都需要更新了。scaling地方在于数据量，任务量，模型参数量。

分布式通信库：CPU上用MPI，GPU上用NCCL
点对点通信(Point-to-point Communication, P2P): 两个节点间通信，集合通信(Collective Communication, CC)：一组节点内通信
数据并行(DP)、模型并行(TP)、流水线并行(PP)
流水线并行: Gpipe,
- 模型的拓扑序，切分成p段，每一段为一个stage
- mini-batch进一步切分为几个大小的micro-batch
zero使用的几个阶段