GPT3：让我们发现了大模型的伟力

目录

GPT3是什么

 GPT3让我们发现了什么

In-context learning的可能性

zero-shot, one-shot, few-shot的可能性

给他一些例子，他能还你一片大海

那么，代价是什么呢

---

GPT3是什么

GPT3是一个大参数量的Transformer，具体来说，它是一个96层，d_model为12288的Transformer，它具有约175B参数量，具体的参数如下：

 GPT3让我们发现了什么

In-context learning的可能性

在之前，我们需要为每个任务都设置一个模型，或者说需要一个直接能够让模型认识到这是一个什么任务的参数，而现在，GPT-3的出现让我们认识到了In-context learning是完全可能的。

In-context learning是什么？

它是一种将任务信息直接在推理阶段告诉模型，在不调整模型参数的情况下直接得到结果。

zero-shot, one-shot, few-shot的可能性

zero-shot，one-shot，few-shot是什么？他们代表着在大模型时代的三种输入范式，即不给模型任何样例，给模型一个样例，给模型一些（不太多，至少不是像训练模型那么多的数据）样例。

在大量参数及数据的堆砌下，模型神奇的拥有了zero-shot的能力，也就是我们并不需要给模型样例，模型就能有一定的推理能力得到结果（当然，结果必然是不如one-shot和few-shot）。

具体来说如下图：

 正常来讲，如果模型完全没有见过任何明确的该任务的样例，它应该无法成功的推理出结果，但在模型参数由1.3B到13B，在Number of Example为0时居然也有0以上的性能，而当参数量达到175B时，其性能居然开始可观，这是一件极其离谱的事情。

这让我们似乎可以期待，当模型参数量更大，数据更加丰富，其zero-shot性能也许会有着质的提升。

给他一些例子，他能还你一片大海

在few-shot乃至fine-tuneing的GPT-3中，超过了绝大多数的SOTA，这打破了很多NLP研究者（尤其是我这种菜鸡），从业者的刷性能梦，我们不禁开始思考，到底还有没有必要做下去呢？

那么，代价是什么呢

伴随着模型参数量，数据量的增大，模型训练所需要的算力更是极大增长，我们使用PataFLOP/s-day作为计量单位，1 PataFLOP/s-days大概是10的20次方的加法或乘法。那么175B的模型需要多少训练量呢？

这就意味着，大模型的性能固然重要，那么，代价是什么呢？到底我们需要多大的算力才能支撑？当我们的算力不够的时候，大模型是否还值得？