【无标题】

1. 这篇文章研究了对语言模型进行对比句子目标的预训练是否可以提高其在生成连贯对话方面的性能。作者发现，使用对比句子目标的预训练可以显著提高语言模型在连贯对话生成任务上的性能，尤其是在长对话场景中。此外，这种预训练方法还可以提高语言模型在其他自然语言处理任务上的性能。

Pretraining with Contrastive Sentence Objectives Improves Discourse Performance of Language Models - ACL2020 https://arxiv.org/pdf/2005.10389.pdf

2. 陈丹琦团队提出的一种改进GPT-3的模型，其可以扩展到任意的预训练模型上，并可以在小样本情景下更好的进行微调。(1) 提出了prompt-bsed fintuning，设计不同的prompt template。(2) 设计了automatic prompt generation自动生成prompt template。(3) 提出了fine-tuning with demonstration，参考了GPT-3的训练方法，并解决了demonstration太长的缺陷：基于预先相似度筛选前50%，然后随机select一个example作为demonstration。

Making Pre-trained Language Models Better Few-shot Learners - ACL2021

3. 本文主要对ICL和PEFT方法，在少样本场景下进行了严谨的实验对比，发现PEFT方法在取得很高精度的情况下，同时很大降低了计算消耗，可以作为替代ICL针对fine-tuning范式缺陷的一个解决方案。

Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning
Haokun- NIPS2022

4. 这是一篇跨任务泛化的工作，采用检索增强的方法实现了零资源的跨任务泛化能力增强。人类可以通过回忆先前获得的相关技能，然后将它们推广到目标任务来执行没有见过的任务，即使根本没有监督信号。本文旨在提高大规模多任务语言模型（例如 T0）在无监督环境中的跨任务泛化能力。本文提出了一种检索增强（Retrieval Augmentation）方法ReCross，该方法将一些未标记的示例作为查询来检索上游数据的一小部分，并使用它们来更新多任务模型以实现更好的泛化。我们的实证结果表明，所提出的 ReCross 始终以显着的优势优于非检索baseline。

Unsupervised Cross-Task Generalization via Retrieval Augmentation - NIPS2022

5. 本文提出解决few-shot language model fine-tuning的问题：性能不稳定、泛化性差。本文主要介绍了少样本精调BERT的过程中存在的不稳定因素，并针对性地提出了相应的解决方案。

（1）the use of a non-standard optimizer introduces bias in the gradient estimation
非标准的优化器会给梯度估计引入偏差
（2）the top layers of the pre-trained BERT model provide a bad initialization point for fine-tuning
预训练BERT顶部的几层对于精调是一个糟糕的起点
（3）the use of a pre-determined, but commonly adopted number of training iterations
一个预先确定的迭代轮次对于参数收敛也是有害的

Revisiting Few-sample BERT Fine-tuning - ICLR2021