李宏毅DLHLP.16.NLP tasks

最新推荐文章于 2021-08-12 07:24:31 发布
最新推荐文章于 2021-08-12 07:24:31 发布
阅读量1.2k 收藏 1
点赞数 2
分类专栏： 李宏毅.DLHLP2020（完结）
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/oldmao_2001/article/details/109429041
版权

文章目录

介绍

本门课程是2020年李宏毅老师新课：Deep Learning for Human Language Processing（深度学习与人类语言处理）
课程网站
B站视频
公式输入请参考：在线Latex公式
本节主要涉及下面两种任务
在这里插入图片描述
先来看任务的分类：

Category

对于吃文字，吐类别任务，这个类任务可以分两种：
一种是将句子进行分类，例如情感识别
在这里插入图片描述
另外一种是按token进行分类，例如NER
在这里插入图片描述
对于吃文字，吐文字任务一般都是attention+seq2seq模型，而且这个attention通常还可以有copy mechanism，可以将输入的部分内容copy到输出。
在这里插入图片描述
以上是只有单个sequence作为输入的情况，当有多个sequence作为输入的时候：
在这里插入图片描述
有两种解决方案：
第一种比较简单，就直接把多个sequence进行concat操作后，视为一个sequence，进入模型
在这里插入图片描述
第二种是将不同的sequence进入各自对应的模型中，并对sequence直接进行attention，也就是模型与模型直接要有交互。
在这里插入图片描述
总结起来根据输入和输出的种类可以把NLP任务分为8类，就是下面的表格：

One SequenceMultiple Sequences
One ClassSentiment Classification
Stance Detection
Veracity Prediction
Intent Classification
Dialogue Policy		NLI
Search Engine
Relation Extraction
Class for each TokenPOS tagging
Word segmentation
Extraction Summarization
Slotting Filling
NER
Copy from InputExtractive QA
General SequenceAbstractive Summarization
Translation
Grammar Correction
NLG		General QA
Task Oriented Dialogue
Chatbot

Other: Parsing, Coreference Resolution

Part-of-Speech (POS) Tagging

Annotate each word in a sentence with a part-ofspeech (e.g. Verb, Adjective, Noun)
词性标注。
在这里插入图片描述
Input: sequence
Output: class for each token

Word Segmentation

分词，这个任务是针对中文而言的，英文是有空格进行分割的。
在这里插入图片描述
Input: sequence
Output: class for each token

Parsing

根据sequence产生树状结构。Parsing有两种类型，属于other类型。
在这里插入图片描述

Coreference Resolution

指代消解，如下图所示，同样结果可以用于下游任务，属于other类型。
在这里插入图片描述

Summarization

抽取式摘要
Extractive summarization，Here a token is a sentence。模型可以看做是Binary classification的任务，把每个句子都进行二分类，是否做为摘要，当然这样的原文进行摘要比较low。
在这里插入图片描述
Input: sequence
Output: class for each token
Abstractive summarization：
Input: sequence
Output: sequence
为了不失原义，通常都是从原文中copy关键字，然后进行改写，因此模型需要有copy的能力。
在这里插入图片描述

Machine Translation

机器翻译
Input: sequence
Output: sequence
如果某个语言没有文字，那么第三种模型就非常适用。
在这里插入图片描述
Unsupervised machine translation is a critical research direction.由于语言种类太多，无监督学习非常重要。

Grammar Error Correction

语法纠错
Input: sequence
Output: sequence
这个任务也需要模型有copy的能力。
在这里插入图片描述
还可以把这个任务看做是分类问题，例如把每个token分为几个类别，先对比different，然后R代表replace，A代表add：
在这里插入图片描述
在这里插入图片描述

Sentiment Classification

情感分析，在电商评论分析用得较多。
Input: sequence
Output: class
在这里插入图片描述
在这里插入图片描述

Stance Detection

立场检测
Input: two sequences
Output: a class
在这里插入图片描述
Many systems use the Support, Denying, Querying, and Commenting (SDQC) labels for classifying replies
这个任务可以用在Veracity Prediction

Veracity Prediction

类似信息、新闻的真假判别。
Input: several sequences
Output: class
在这里插入图片描述
在这里插入图片描述
这里模型吃新闻、评论以及维基百科相关内容，然后输出判断结果。

Natural Language Inference (NLI)

自然语言推断
Input: two sequences
Output: a class（矛盾、包含、中立）
例如：
在这里插入图片描述
根据上面的图片，下面有三个说法，要给出判断。
在这里插入图片描述

Search Engine

Input: two sequences
Output: a class
输入搜索的关键字，以及对比的文章，然后计算结果是否相关。
下面的例子来自谷歌，在使用BERT之前，搜索引擎将stand和stand-alone混为一谈，而BERT出现后，模型就可以正确区分词义了。
在这里插入图片描述

Question Answering

问答系统
Input: several sequences
Output: sequence
图中表示得非常清楚，不多说。
在这里插入图片描述
还有一种Extractive QA: Answer in the document
在这里插入图片描述
一般从原文中copy答案，s代表开始位置，e代表结束位置
在这里插入图片描述

Dialogue

最常见的就是Chatting（chat bot）
一般的Chatting就是尬聊，好一点的就是会根据聊天对象的Personality、Empathy、Knowledge等进行不同的交流
当然还有Task-oriented的Dialogue
例如自动订房机器人：
在这里插入图片描述
这里要涉及Natural Language Generation (NLG)
先定义一些Action
在这里插入图片描述
在聊天的过程中，不能尬聊别的东西，要按照动作列表进行聊。
在这里插入图片描述

更具体一点要构造Policy & State Tracker
State: What has happened in this dialogue.
在这里插入图片描述
这里 State Tracker 不能直接处理对话，而是吃NLU处理的结果
Natural Language Understanding (NLU)分为两大块，一块是Intent Classification，用于识别客户是提供信息还是询问问题。
在这里插入图片描述

另外一块是Slot Filling，输入sequence，输出得到每个token对应的类别

在这里插入图片描述
整个对话系统结构如下：
在这里插入图片描述

Knowledge Graph

(warning: The following description oversimplifies the task)
Step 1: Extract Entity
Step 2: Extract Relation
在这里插入图片描述
在这里插入图片描述
抽取Node的技术叫做：

Name Entity Recognition (NER)

Name Entity没有非常严谨的定义，通常是指句子中包含的任务所关心的实体，常见的有：people, organizations, places
Input: sequence
Output: class for each token
just like POS tagging, slot filling
在这里插入图片描述
抽取边的技术叫：

Relation Extraction

例如上面的例子在标记出三个实体之后，需要对这三个实体两两之间进行关系标注，如果关系是事先定好了的，例如有30种关系，那么这个问题就可以用分类的思想来求解。
Input: sequence
Output: class
在这里插入图片描述
在这里插入图片描述

GLUE

General Language Understanding Evaluation (GLUE)一个集合，用来评价机器理解人类语言的程度。
根据句子判断类别，第一个判断语法，第二个判断情感
• Corpus of Linguistic Acceptability (CoLA)
• Stanford Sentiment Treebank (SST-2)
下面三个都是给两个句子，需要判断两个句子意思是否一样。
• Microsoft Research Paraphrase Corpus (MRPC)
• Quora Question Pairs (QQP)
• Semantic Textual Similarity Benchmark (STS-B)
下面四个属于NLI的任务，给两个句子，一个句子是描述，另外一个是需要根据描述需要判别的内容。
• Multi-Genre Natural Language Inference (MNLI)
• Question-answering NLI (QNLI)
• Recognizing Textual Entailment (RTE)
• Winograd NLI (WNLI)

GLUE also has Chinese version (https://www.cluebenchmarks.com/)

Super GLUE

BERT出现后，GLUE对于机器而言太简单了，因此出现了更加难的任务集合，叫Super GLUE，共有八个任务，基本都和QA有关。都可以转换为分类的问题来解。
https://super.gluebenchmark.com/
在这里插入图片描述
在这里插入图片描述
还有一个类似的任务集合

DecaNLP

Decathlon是十项全能的意思，这个任务集合有10个任务，都用同一个模型来解，以此来评测机器理解人类语言的程度。
可以把这些所有的任务都转换为QA任务，再进行求解。

oldmao_2000
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
BERT介绍
triplemeng的博客
10-20 8万+
这篇介绍以下最近大热的[BERT](https://arxiv.org/pdf/1810.04805.pdf)，它在11个NLP任务中刷新了成绩，效果确实惊人。
李宏毅《DLHLP》学习笔记7 - Voice Conversion
好记性不如烂笔头
12-03 1720
视频链接：https://www.youtube.com/watch?v=Jj6blc8UijY&list=PLJV_el3uVTsO07RpBYFsXg-bN5Lu0nhdG&index=9&ab_channel=Hung-yiLee 课件链接：https://speech.ee.ntu.edu.tw/~tlkagk/courses/DLHLP20/Voice%20Conversion%20(v3).pdf语音转换的用处很多，如合成其他人的声音、合成不同情绪的声音等。本节介绍的技术都是从acoustic
【笔记】DLHLP - 李宏毅 - 3 - 语音识别 - Part 2 LAS
YanqiangWang的专栏
07-06 446
语音识别模型： 语音识别模型主要分为两种，一种是基于seq2seq的，一种是基于HMM的。 seq2seq的模型主要有LAS，CTC，RNN-T，Neural Transducer，MoChA。 本节讲最流行的LAS，就是Listen，Atten，and Spell，典型的seq2seq+attention的自编码模型。 1. Listen： 编码器会把输入的一串声学特征，转换为高维隐...
李宏毅自然语言处理——NLP任务概述
日积月累，天道酬勤
08-12 3320
介绍NLP的主要任务。
[转]NLP Tasks
09-27 358
Natural Language Processing Tasks and Selected References I've been working on several natural language processing tasks for a long time. One day, I felt like drawing a map of the NLP field where...
李宏毅深度学习和人类语言处理作业dhlp2020 hw1-hw5作业下载、环境配置及训练笔记
qq_34351067的博客
10-14 1万+
李宏毅深度学习人类语言处理dhlp2020 hw1-hw5作业下载、环境配置及训练笔记 ** 由国立台湾大学李宏毅老师主讲的纯中文版，2020年深度学习与人类语言处理课程开课了，该课程主要讲解深度学习技术在人类语言处理，比如语音识别、自然语言处理相关的知识课程非常新且难度很高，内容都是最新的深度学习技术。** 由于作业提供的源码有些并不不完整，数据集下载需要能科学上网，还要有google drive账号。环境配置也是个问题，每个作业的环境配置都不大一样。 首先是下载从官网作业的ppt提供的链接下载数据集
nlp_tasks:nlp基础任务
04-08
NLP算法 说明 此算法仓库包括文本分类、序列标注、关系抽取、文本匹配、文本相似度匹配这五个主流NLP任务，涉及到22个相关的模型算法。 框架结构 文件结构 all_models ├── Base_line │   ├── __init__.py │   ├── base_data_process.py │   ├── base_evaluation.py │   └── single_tokenizer.py │ ├── Texts_Classification │   ├── 机器学习_文本分类 │   ├── fasttext_文本分类 │   ├── textcnn_文本分类 │   ├── lstm_文本分类 │   ├── han_文本分类 │   ├── bert_文本分类 │   └── 数据准备 │ ├── Sequence_Labeling │   ├── crf_su
NLP常见任务
weixin_30498807的博客
12-26 806
借助BERT论文, 梳理下自然语言处理当前常见的任务. NLP任务 根据判断主题的级别, 将所有的NLP任务分为两种类型: token-level task: token级别的任务. 如完形填空(Cloze), 预测句子中某个位置的单词; 或者实体识别; 或是词性标注; SQuAD等. sequence-level task: 序列级别的任务, 也可以理解为句子级别的任务. 如情感分类等各种句子...
自然语言相关（0）—— 任务介绍nlp tasks
u014448054的博客
08-03 767
自然语言相关（0）—— 任务介绍nlp tasks 基础 token 可能是字母、单词等等等 Downstream tasks: Downstream tasks is what the field calls those supervised-learning tasks that utilize a pre-trained model or component. 任务 Part-of-Speech(POS) tagging 是否有必要 前处理 为句子中的每个词汇进行 词性标注 可以将这个
李宏毅ppt.zip
05-23
台大老师李宏毅的机器学习上课ppt, 非常好的资料，还有练习
深度学习与人类语言处理(李宏毅2020).zip
08-17
本资源仅方便大家辅助博文学习，已得到李老师的许可 深度学习与人类语言处理的课程ppt，在本课程中，文字和语音的内容各占一半，主要关注近3年的相关技术，重点讲述BERT及之后的预处理模型。 李宏毅老师2020新课深度学习与人类语言处理课程主页： http://speech.ee.ntu.edu.tw/~tlkagk/courses_DLHLP20.html 视频地址： https://www.bilibili.com/video/BV1RE411g7rQ
李宏毅CGAN.pdf
04-07
李宏毅CGAN.pdf
Deep Learning Tutorial 李宏毅2.pdf
12-03
Deep Learning Tutorial 李宏毅2.pdf 通俗易懂，轻松入门深度学习
李宏毅深度学习.zip
12-16
李宏毅老师的深度学习笔记和部分代码
NLP-自然语言处理入门（持续更新）
敲代码的乔帮主
08-13 4064
NLP-自然语言处理入门 1.书籍-理论篇   吴军老师的的《数学之美》 《统计自然语言处理(第2版)》（宗成庆）蓝皮版 《统计学习方法》（李航） 《自然语言处理简明教程》（冯志伟） 《自然语言处理综论》（Daniel Jurafsky） 《自然语言处理的形式模型》（冯志伟） 2.书籍——实践篇   python基础教程（翻译版）+python入门博客推荐：廖雪峰的python教程...
自然语言处理NLP之终极指南（Pytho…
数据简化DataSimp社区
02-27 4462
理解和使用自然语言处理之终极指南（Python编码）（经典收藏版12k字，附数据简化筹员2月17日Fri新闻） 秦陇纪10译编 12k字：理解和使用自然语言处理之终极指南（Python编码）7k字；附数据简化DataSimp筹收技术简历414字、2月17日Fri新闻四则4k字。欢迎加入共建“数据简化DataSimp”学会及社区，关注、收藏、转发新媒体“数据简化DataSimp、科学Scien
深度学习在NLP中的应用
热门推荐
再难也要坚持
08-17 1万+
1. 引言     文本分类这个在NLP领域是一个很普通而应用很广的课题，而且已经有了相当多的研究成果，比如应用很广泛的基于规则特征的SVM分类器，以及加上朴素贝叶斯方法的SVM分类器，当然还有最大熵分类器、基于条件随机场来构建依赖树的分类方法。在传统的文本分类词袋模型中，在将文本转换成文本向量的过程中，往往会造成文本向量维度过大的问题，当然也有其他的压缩了维度的一些分类方法。还有一些是基于人工
DLNLP学习笔记14（NLP Tasks）
GaLileo_C的博客
08-13 233
1
李宏毅DLHLP.01.Course overview
老毛的博客
08-08 680
文章目录介绍HLP vs NLP语音概述文字概述本课程内容（六类）Automatic Speech Recognition(ASR)语音合成语音转语音Input Audio, Output Class文字2文字其他 介绍 本门课程是2020年李宏毅老师新课：Deep Learning for Human Language Processing（深度学习与人类语言处理） 课程网站：http://speech.ee.ntu.edu.tw/~tlkagk/courses_DLHLP20.html B站视频：htt
李宏毅transform
最新发布
08-23
＊＊＊他在机器学习领域的研究涵盖了许多方面，包括自然语言处理、计算机视觉和强化学习等。＊＊＊至于"transform"这个词，它在深度学习中常常指代变换模型，如Transformer模型，它在自然语言处理领域取得了重大突破...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

oldmao_2000

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值