提示学习Prompt Engineering和Prompt Ensembling

Prompt Engineering有人曾说，了解一个东西最好的方式就是通过定义。尤其是对于不太好理解的内容。这里，Prompt Engineering从字面意思上，是“提示工程”的意思。那么，什么是提示工程？结合CLIP，提示工程就是指对模板的寻优过程。因为CLIP的prompt模板是手工设计的，默认是“a photo of a [CLASSNAME]”。但是，这个模板不一定就是最好的，还可能有更好的模板。因此，我们需要不停的尝试其他各种文本，这个过程就是Prompt Engineering。通俗理解就是：模板的人脑学习过程。

Prompt Ensembling同样的，从字面意思上，Prompt Ensembling是“提示合奏”“提示，总体效果”。可以意会到，就是不止一种prompt合在一起做事情。Prompt Ensembling，即提示聚合、提示融合。实际上，Prompt Ensembling就是一种分别使用多个提示模板进行推理，来增强模型的性能的技术。具体做法是，向模型中分别放入不同的提示模板（这些模板还是手工设计的），然后分别做推理，得到结果，接下来选取合适的规则将多个结果进行融合，比如可以使用全局平均、加权平均，或者投票，蒸馏等方式。

二者区别通过定义可以看出，提示工程(prompt engineering)的本质是针对任务选取最恰当、能够使模型性能最好的模板，是模板不断寻优迭代的过程。而提示聚合(prompt ensebling)是预先指定好若干个模板，然后分别得到结果，再对结果进行融合。