跨语言摘要CLS近期论文研究总结（二）

1.BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension

自然语言生成，翻译和理解的去噪序列到序列预训练

BART的训练方法是:
(1)以任意的加噪方式对文本进行破坏
(2)学习一个模型来重建原始文本。
它使用标准的基于transformer的神经机器翻译架。

对文本生成和理解任务微调时很有效。

提出了一种新的机器翻译方案，其中BART模型堆叠在几个额外的transformer层之上。

2.Benchmarking Large Language Models for News Summarization

面向新闻摘要的大型语言模型的基准测试

指令调整，而不是模型规模，是llm总结能力的关键。
XSUM中使用的参考摘要被人类判断为比最好的LLM生成的摘要更差。
最好的LLM生成的摘要被评为与Upwork自由撰稿人相当。

3.Best Student Forcing: A Simple Training Mechanism in Adversarial Language Generation

对抗性语言生成的简单训练机制

4.Better Language Models of Code through Self-Improvement

通过自我完善，建立更好的代码语言模型
框架通过一个简单的数据增强步骤利用plmc的自我改进能力。这种方法对于涉及代码相关序列生成的任务有用，例如代码汇总和代码生成。我们的方法涉及对下游数据集上的PLMC进行微调，使模型能够获得有关任务的知识。

5.Bridging the Data Gap between Training and Inference for Unsupervised Neural Machine Translation

无监督神经机器翻译训练与推理之间的数据鸿沟
提出了一种在线自我训练方法，该方法同时使用伪并行数据（自然源，翻译目标）来模拟推理场景。

6.BRIO: Bringing Order to Abstractive Summarization

给抽象总结带来秩序