NLP
文章平均质量分 95
黑小板
纸上得来终觉浅
展开
-
Learn NLP with Transformer (Chapter 10)
10. 机器翻译Task10 机器翻译本次学习参照Datawhale开源学习:https://github.com/datawhalechina/learn-nlp-with-transformers内容大体源自原文,结合自己学习思路有所调整。个人总结:机器翻译和其它任务类似,均包括:加载数据、预处理数据、微调预训练模型三个步骤。我们将展示如何使用Transformers代码库中的模型来解决自然语言处理中的翻译任务。我们将会使用WMT dataset数据集。这是翻译任务最常用的数据集之一。下面展转载 2021-09-30 16:09:51 · 419 阅读 · 0 评论 -
Learn NLP with Transformer (Chapter 9)
9. 问答任务Task09 问答任务本次学习参照Datawhale开源学习:https://github.com/datawhalechina/learn-nlp-with-transformers内容大体源自原文,结合自己学习思路有所调整。是抽取式问答任务:给定一个问题和一段文本,从这段文本中找出能回答该问题的文本片段(span)。通过使用Trainer API和dataset包,我们将轻松加载数据集,然后微调transformers。下图给出了一个简单的例子:Note: 注意:本文的问答任务转载 2021-09-29 11:36:15 · 261 阅读 · 0 评论 -
Learn NLP with Transformer (Chapter 8)
8. 序列标注Task08 文本分类本次学习参照Datawhale开源学习:https://github.com/datawhalechina/learn-nlp-with-transformers内容大体源自原文,结合自己学习思路有所调整。个人总结:一、序列标注任务结构和文本分类类似,包括:加载数据、预处理数据、微调预训练模型。二、微调预训练模型时,序列标注任务多一个data_collator步骤,它是一个数据收集器,将数据喂给模型。序列标注,通常也可以看作是token级别的分类问题:token转载 2021-09-27 18:07:53 · 291 阅读 · 0 评论 -
Learn NLP with Transformer (Chapter 7)
7. 文本分类Task07 文本分类本次学习参照Datawhale开源学习:https://github.com/datawhalechina/learn-nlp-with-transformers内容大体源自原文,结合自己学习思路有所调整。本章节主要内容包含三部分内容:pipeline工具演示NLP任务处理构建Trainer微调模型文本分类、超参数搜索任务7.1. 简介本章节将使用 Hugging Face 生态系统中的库——Transformers来进行自然语言处理工作(NLP)转载 2021-09-25 22:56:35 · 2010 阅读 · 0 评论 -
Learn NLP with Transformer (Chapter 6)
BERT应用Task06 BERT应用本次学习参照Datawhale开源学习:https://github.com/datawhalechina/learn-nlp-with-transformers内容大体源自原文,结合自己学习思路有所调整。个人总结:一、BERT 预训练任务包括Masked Language Model(MLM训练模型根据上下文理解单词的意思)和Next Sentence Prediction(NSP训练模型理解预测句子间的关系)。二、 Fine-tune 包括句子分类、多项选择转载 2021-09-24 00:07:56 · 1115 阅读 · 0 评论 -
Learn NLP with Transformer (Chapter 5)
BERT代码Task05 BERT代码本次学习参照Datawhale开源学习:https://github.com/datawhalechina/learn-nlp-with-transformers内容大体源自原文,结合自己学习思路有所调整。个人总结:HuggingFace着手实现了Bert模型,这一项目也发展成为一个较大的开源社区。值得注意的是,在 HuggingFace 实现的 Bert 模型中,使用了多种节约显存的技术。本篇章将不展示具体代码,只介绍各个参数各每个模块的输入输出。具体代码基转载 2021-09-21 22:24:27 · 373 阅读 · 0 评论 -
Learn NLP with Transformer (Chapter 4)
图解GPTTask04 GPT本次学习参照Datawhale开源学习:https://github.com/datawhalechina/learn-nlp-with-transformers内容大体源自原文,结合自己学习思路有所调整。个人总结:GPT-2是基于Transformer的Decoder构建的一种自回归语言模型。由于GPT-2是基于Decoder构建,使用的是masked Self Attention,所以该模型只能看到左边的信息。4. GPT4.1 语言模型和GPT-2GPT-转载 2021-09-19 23:35:42 · 221 阅读 · 0 评论 -
Learn NLP with Transformer (Chapter 3)
Task03 BERT本次学习参照Datawhale开源学习:https://github.com/datawhalechina/learn-nlp-with-transformers内容大体源自原文,结合自己学习思路有所调整。个人总结:一、BERT模型结构基本上就是Transformer的encoder部分。BERT训练过程分为预训练和微调。预训练使用大量语料,减少重复性工作;然后在预训练好的参数基础上增加一个与任务相关的神经网络层,并在该任务的数据上进行微调训,以针对具体任务取得好的效果。二、转载 2021-09-17 23:43:27 · 215 阅读 · 0 评论 -
Learn NLP with Transformer (Chapter 2)
Task02 Attention和Transformer本次学习参照Datawhale开源学习:https://github.com/datawhalechina/learn-nlp-with-transformers内容大体源自原文,结合自己学习思路有所调整。2. Attention和Transformer本教程的学习路径是:Attention->Transformer->BERT & GPT->NLP应用。2.1. 图解AttentionAttention出现的原因转载 2021-09-16 00:06:51 · 402 阅读 · 0 评论 -
Learn NLP with Transformer (Chapter 1)
Task01 NLP和Transformer介绍本次学习参照Datawhale开源学习:https://github.com/datawhalechina/learn-nlp-with-transformers1. 自然语言处理(Natural Language Processing, NLP)本教程将会基于最前沿的深度学习模型结构(transformers)来解决NLP里的几个经典任务。通过本教程的学习,我们将能够了解transformer相关原理、熟练使用transformer相关的深度学习模型来原创 2021-09-13 22:58:53 · 376 阅读 · 0 评论