阿芒Aris的博客

我们将学习来自“暗黑大陆的模型”——GPT-3，将学习到GPT-3的目标、实验结果、瑕疵和有趣的BUG

P30中介绍QA中Question 答案和 Source 来源的种种。而在本篇P31中将学习Question问题的部分，将会从三大经典问题讲起，以及它们可能的解法。

Question Answering QA问题的学习，本篇将介绍QA中Question 答案和 Source 来源的种种，下一篇将是有关问题的部分。

语音方面前沿的AALBERT的有关内容

BERT在语音上的应用，主要有三大类：wav2vec、SLU BERT、Mockingjay，以及语音BERT的前沿研究热点。

过去自监督学习在语音中的应用，主要分为两大类：CPC和APC，两类是根据不同的损失函数划分的

本篇，依存句法分析：找出句子中词的依赖关系。我们将学到依存句法分析的基本概念：关系、依存句法树和抽象化的训练任务，以及与成分句法分析类似的方法等。

本篇 Constituency Parsing 成分句法分析将讲解任务的基本概念、训练目标以及常用的两种解法，和深度学习在这些解法中的使用。

多语种BERT的神奇之处，零样本学习的跨语言学习能力以及有关猜想和实验。

无监督的 Summarization 摘要 、Translation 翻译 和 ASR 语音辨识 的实现与方法

Text Style Transfer 文字风格转换的实现与模型架构，以及在使用无监督学习方法做文字风格转换时会遇到的问题，解决方法等。

非自回归模型 的序列生成，将讲述有关问题、实现方法、和模型结构

条件生成领域，将从三个方面进行讲解 ：Generation 怎么产生一个有结构的东西，Attention 产生结构的辅助，Tips for Generation 一些生成任务的技巧

指代消解问题的定义、端到端训练的模块和简化运算以及前沿研究等

预训练模型有关概念与技术：BERT、XLNet、MASS/BART、UniLM、 ELECTRA

预训练模型的定义、发展到微调

经典伟大的语言模型，从传统的语言模型 到 ELMO、BERT、GPT

NLP任务概述

从本篇其将进入与文字有关的任务，也就是大家所熟知的NLP任务，请注意本篇类似科普类，不涉及任何技术模型等，可以用来归纳总结，而且李宏毅老师的分类清晰有序，还是很值得参考的。在本篇中，我们将讲述**NLP任务概述**，虽然NLP应用非常广泛、模型变化多端，但是总归起来来说，不脱以下几个变化：文字->类别、文字->文字

从本篇其将进入与文字有关的任务，也就是大家所熟知的NLP任务，请注意本篇类似科普类，不涉及任何技术模型等，可以用来归纳总结，而且李宏毅老师的分类清晰有序，还是很值得参考的。在本篇中，我们将讲述**NLP任务概述**，虽然NLP应用非常广泛、模型变化多端，但是总归起来来说，不脱以下几个变化：文字->类别、文字->文字

在本篇中，我们将开始讲解 Speaker Verification 语者验证有关技术，输入语音，输出类别的模型。类似地，这样的模型可以用在很多不同的领域，如语音情绪判断、语音安全判断、语音关键词是否存在等等，而今天我们只关注 语者验证，其他的应用大同小异，模型一样，都是语音分类问题。 .Speaker Verification 语者验证我们将会从3个方面讲解：1 Task Introduction2 Speaker Embedding3 End-to-end

在本篇开始我们继续讲解 Text-to-Speech (TTS) Synthesis* 语音合成，输入文字产生声音，我们会从四个方面来讲：P14讲解1 和 2，而本篇P15将讲解 3 和 4 1 TTS before End-to-End ：在端到端技术之前TTS是怎么做的2 Tacotron: End-to-end TTS ：硬train一发的时代3 Beyond Tacotron ：硬train一发的后时代4 Controllable TTS

在本篇开始我们继续讲解 Text-to-Speech (TTS) Synthesis 语音合成，输入文字产生声音，我们会从四个方面来讲：本篇将讲解1和21 TTS before End-to-End ：在端到端技术之前TTS是怎么做的2 Tacotron: End-to-end TTS ：硬train一发的时代3 Beyond Tacotron ：硬train一发的后时代4 Controllable TTS ：怎么控制TTS合出我们要的声音

端到端的 TasNet 的模型结构，以及Speech Sparation 语音分离领域的前沿研究领域及其扩展等。

在本篇开始我们将讲解 Speech Separation 语音分离技术，从定义、分类再到其中一种 Speaker Separation的评估和排列问题与最新的解决方法。

本篇中，我们继续将讲解 语音转换 中的Feature Disentangle 中的问题和解决方法，以及对Unparallel Data的另外一种方法 Direct Transformation直接转换技术

>在前几篇中讲解了语音辨识 Speech Recognition 的前世今生，而从本篇起将进入 Voice Conversion 语音转换的篇章。本篇将讲解 语音转换 的定义、应用 以及在实现技术中重要的Encoder和Decoder部分

在语音辨识中使用Language Model的原因和方法,以及传统的N-gram和如今的NN-based LM等

对于语音辨识系统的三个模型HMM 、CTC、RNN-T，我们将解决四个问题，并做三个模型的总结比较。

Alignment in HMM，CTC，RNN-T 1. **问题1**：怎么穷举所有可能的alignments？ 2. **问题2**：怎么把所有的alignments加起来？ 3. **问题3**：怎么做训练？HMM用的是GMM我们不管它。而CTC，RNN-T用的是**gradient descent**，我们该怎么计算将这些alignment加起来的偏微分？ 4. **问题4**：怎么做Decoding呢？怎么最优化这个P(Y|X)呢？

传统的语音辨识系统： Hidden Markov Model (HMM) 隐马尔科夫模型上两篇我们讲的都是神经网络在语音辨识中的使用（LAS、CTC、RNA、RNN-T、Neural Transducer、MoCha），而即使是如今大多数的语音辨识系统还是使用传统的 Hidden Markov Model 隐马尔科夫模型。让我们看看至少10年前还没有deep learning的时候，人们是怎样解决语音辨识的。

语音辨识模型：CTC 、RNN-T（&RNA）、Neural Transducer、MoChA

语音辨识模型1：LAS (Listen, Attend, and Spell)

语音辨识系统中的输入和输出输入：语音，形式化表示为 长度为T，维度为d 的向量输出：文字，形式化表示为 各种 token

人类语言处理任务总结与研究方向