【提示学习简介及其分类】

提示学习简介及其分类：

在深度学习领域，预训练语言模型通过在大量文本数据上进行训练，获得了卓越的表征能力和内蕴知识。这些模型通常通过掩码语言建模（如BERT的MLM）和下句预测等预训练任务来提升其性能。为了在下游任务中充分利用这些模型的潜力，提示学习（Prompt Learning）应运而生。

提示学习分类：

软提示与手工提示：在文本可读性任务中，我们可以设计特定的提示模板来引导模型输出期望的结果。例如，对于难度级别的分类，我们可以构建如下提示：“<文本>，在十二个难度级别中，这个文本的难度是 级。” 这里，下划线（）代表掩码位置，我们期待模型在此处输出正确的难度级别。然而，模型输出的不确定性使得掩码位置可能填入词表中的任何词汇，这就需要我们通过手工映射将这些词汇映射到正确的标签上。

软映射与手工映射：手工设计的模板和映射器往往要求研究人员具备深厚的领域知识，这无疑增加了任务难度。手工设计提示和映射器存在一定的局限性。即使是领域专家，也难以设计出既有效又高效的提示。此外，映射器的规则往往需要繁琐的调整和优化。

连续提示与软映射的优势：

连续提示：考虑到提示词和文本输入模型后都会被转化为嵌入向量，我们不禁思考：为何不直接使用模型能够理解的嵌入向量作为提示？这种连续提示的方法允许我们通过模型反馈来优化这些嵌入向量，即使它们对人类来说可能不再直观。但对于模型来说，这种连续的、优化的嵌入向量可能会激发出更好的性能。

软映射：在映射的过程中，我们可以进一步采用软映射的策略。即在模型的输出层，利用线性层来直接对隐藏状态进行分类，从而省去了手工设计映射器的繁琐过程。这种方法不仅简化了操作流程，还有可能提高模型的分类准确性。