Young, Simple, Naive

NLP 之路

InstructGPT: SFT + RLHF with PPO（目标函数：RM - KL+PTX objective）

指令微调模型 FLAN 显著提升 zero-shot 能力

通过标注数据微调和工具调用来提升对话模型的 safety 和 groundedness

使用强化学习微调总结生成模型

在人类偏好上训练奖励模型，然后使用强化学习微调预训练语言模型

让机器人在对话中学习

Rasa 中的 Transformer Embedding Dialogue (TED) 对话策略

通过 MH 采样实现带约束的句子生成

Source Domain -> DRF -> Example-specific Prompt -> Unseen Domain

仅使用标准的 dropout 作为噪声

数据增强+对比学习+MLM

使用自监督对比学习来学习文本表示

IS-BERT: 基于句子表示与局部 n-gram 表示互信息最大化来进行无监督句子表示学习

将预训练 sentence encoders 集成到 sentence meta-embeddings 中，解决无监督 STS 任务。

MV-DASE 基于 GCCA 合并了多种不同的 embedding

DAML

Abstract概述了 TAC2014 Knowledge Base Population (KBP) evaluation 中的的词槽填充赛道 （English Slot Filling (SF) track）。KBP 旨在促进从自由文本中提取命名实体和数值型实体之间的二元关系的研究。今年（2014）的主要变化是：包含歧义查询接受通过推断得到的输出对任务和输入格式的简化，移除了 query 中实体对于知识库的引用最高得分为 36.72 F1，中位数为 19.80 F1。1 Introd

使用大型预训练语言模型生成语义文本相似度数据集

有限的标注数据也能带来很好的性能

prompt-based learning 综述

Pattern-Exploiting Training (PET)：定义 (pattern, verbalizer) -> fine-tune 模型 -> 自动标注 -> 训练分类器

LAMA is a probe to test the factual and commonsense knowledge in language models.

对于 N 个下游任务，fine-tuning 需要 N 倍预训练模型的参数量，而 Adapter 可以只用接近 1 倍的参数量实现类似的性能。

global attention & local attention

答案抽取 + 问题生成 + roundtrip consistency

基于 attention 和 seq2seq 的问题生成

第一个 retriever 和 reader 端到端联合学习的开放领域问答系统

基于深度学习的 IR 排序模型

LambdaMART 是 LambdaRank 的提升树版本

在 RankNet 的基础上改进而来

神经网络排序模型

开发领域对话比赛

基于双向语言模型的词表示

一种迁移学习的统一框架

Natural Questions 数据集上的新基线

双向自回归 Transformer，文本生成效果好

一个小而美的深度模型

通过超大规模自回归语言模型实现 Few-shot Learning

预训练语言模型在 zero-shot 的情况下能够很好地处理多种下游任务，且无需任何参数或网络结构的调整