- 博客(98)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 Training language models to follow instructions with human feedback
InstructGPT: SFT + RLHF with PPO（目标函数：RM - KL+PTX objective）
2024-04-02 16:21:53
266
原创 Finetuned Language Models Are Zero-Shot Learners
指令微调模型 FLAN 显著提升 zero-shot 能力
2024-03-30 16:36:47
432
原创 LaMDA: Language Models for Dialog Applications
通过标注数据微调和工具调用来提升对话模型的 safety 和 groundedness
2024-03-27 11:00:06
242
原创 Fine-Tuning Language Models from Human Preferences
在人类偏好上训练奖励模型，然后使用强化学习微调预训练语言模型
2023-12-30 12:57:21
1185
原创 西瓜书公式（10.31）的推导
与 Isomap 试图保持近邻样本之间的距离不同，局部线性嵌入（Locally Linear Embedding, 简称 LLE）试图保持邻域内样本之间的线性关系。西瓜书 10.5.2 节 局部线性嵌入。表示要求特征向量是单位向量）。则式 (10.29) 可重写为。LLE 在低维空间（维度为。进行特征值分解后最小的。个特征值对应的特征向量（LLE 先为每个样本。
2023-07-22 19:50:53
158
原创 Learning from Dialogue after Deployment: Feed Yourself, Chatbot!
让机器人在对话中学习
2023-06-17 23:09:09
422
原创 西瓜书公式（10.24）的推导
在西瓜书 10.4 节 “核化线性降维” 中，引入了一个映射函数。是高维空间中的一个标准正交基。映射到高维特征空间中，即。的具体形式，于是引入核函数。由前文中的推导可以得到。一般情形下，我们不清楚。
2023-06-10 13:31:05
1136
原创 Dialogue Transformers
Rasa 中的 Transformer Embedding Dialogue (TED) 对话策略
2023-02-11 21:03:49
525
1
原创 CGMH: Constrained Sentence Generation by Metropolis-Hastings Sampling
通过 MH 采样实现带约束的句子生成
2022-11-26 15:44:05
857
原创 PADA: Example-based Prompt Learning for on-the-fly Adaptation to Unseen Domains
Source Domain -> DRF -> Example-specific Prompt -> Unseen Domain
2022-10-22 20:48:13
485
原创 SimCSE: Simple Contrastive Learning of Sentence Embeddings
仅使用标准的 dropout 作为噪声
2022-08-06 19:57:30
347
原创 DeCLUTR: Deep Contrastive Learning for Unsupervised Textual Representations
使用自监督对比学习来学习文本表示
2022-06-18 15:34:36
246
原创 An Unsupervised Sentence Embedding Method by Mutual Information Maximization
IS-BERT: 基于句子表示与局部 n-gram 表示互信息最大化来进行无监督句子表示学习
2022-05-28 20:46:09
242
原创 Sentence Meta-Embeddings for Unsupervised Semantic Textual Similarity
将预训练 sentence encoders 集成到 sentence meta-embeddings 中，解决无监督 STS 任务。
2022-05-28 14:49:08
111
原创 Multi-View Domain Adapted Sentence Embeddings for Low-Resource Unsupervised Duplicate Question Detec
MV-DASE 基于 GCCA 合并了多种不同的 embedding
2022-04-10 17:40:26
853
原创 Overview of the English Slot Filling Track at the TAC2014 Knowledge Base Population Evaluation
Abstract概述了 TAC2014 Knowledge Base Population (KBP) evaluation 中的的词槽填充赛道 （English Slot Filling (SF) track）。KBP 旨在促进从自由文本中提取命名实体和数值型实体之间的二元关系的研究。今年（2014）的主要变化是：包含歧义查询接受通过推断得到的输出对任务和输入格式的简化，移除了 query 中实体对于知识库的引用最高得分为 36.72 F1，中位数为 19.80 F1。1 Introd
2022-03-19 19:02:36
211
原创 Generating Datasets with Pretrained Language Models
使用大型预训练语言模型生成语义文本相似度数据集
2022-03-14 21:37:51
365
原创 Unsupervised Data Augmentation for Consistency Training
有限的标注数据也能带来很好的性能
2022-03-12 17:36:07
4491
原创 Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Process
prompt-based learning 综述
2022-03-05 22:36:49
245
原创 Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
Pattern-Exploiting Training (PET)：定义 (pattern, verbalizer) -> fine-tune 模型 -> 自动标注 -> 训练分类器
2022-02-24 07:30:18
285
原创 Language Models as Knowledge Bases?
LAMA is a probe to test the factual and commonsense knowledge in language models.
2022-01-28 21:23:33
1000
原创 Parameter-Efficient Transfer Learning for NLP
对于 N 个下游任务，fine-tuning 需要 N 倍预训练模型的参数量，而 Adapter 可以只用接近 1 倍的参数量实现类似的性能。
2022-01-22 21:06:08
2215
原创 Effective Approaches to Attention-based Neural Machine Translation
global attention & local attention
2022-01-15 12:24:32
320
原创 Synthetic QA Corpora Generation with Roundtrip Consistency
答案抽取 + 问题生成 + roundtrip consistency
2022-01-11 19:39:27
449
原创 Learning to Ask: Neural Question Generation for Reading Comprehension
基于 attention 和 seq2seq 的问题生成
2022-01-08 20:54:13
541
原创 Latent Retrieval for Weakly Supervised Open Domain Question Answering
第一个 retriever 和 reader 端到端联合学习的开放领域问答系统
2022-01-03 18:55:53
634
原创 DeepRank: A New Deep Architecture for Relevance Ranking in Information Retrieval
基于深度学习的 IR 排序模型
2022-01-02 19:46:32
395
原创 From RankNet to LambdaRank to LambdaMART: An Overview
LambdaMART 是 LambdaRank 的提升树版本
2022-01-01 19:29:30
447
原创 Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
一种迁移学习的统一框架
2021-11-14 20:22:15
601
语音和语言处理英文版第3版带书签
2018-12-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人