深度学习要点 - 按顺序进行序列建模（使用python）

Introduction

大规模的深度学习通过创建前所未有的聊天机器人和机器人来扰乱许多行业。另一方面，刚刚开始深度学习的人会阅读神经网络的基础知识及其各种架构，如CNN和RNN。

但是从简单的概念到深度学习的工业应用似乎有了很大的提升。在构建深度学习应用程序时，几乎需要了解批量标准化，丢失和注意等概念。

在本文中，我们将介绍语音识别和自然语言处理中当前最先进应用中使用的两个重要概念 - 即序列到序列建模和注意模型。

只是为了让您了解这两种技术的潜在应用 - 百度的AI系统使用它们来克隆您的声音它通过在短短三秒的训练中理解他的声音来复制一个人的声音。你可以查看百度研究团队提供的一些音频样本。由原始和合成的声音组成。

目录

• 序列到序列建模的问题公式
• 一瞥序列到序列建模技术
• 提高seq2seq的性能 - 光束搜索和注意模型
• 序列到序列建模的动手视图

问题用于序列到序列建模的公式

我们知道，为了解决序列建模问题，Recurrent Neural Networks是我们的首选架构。让我们以问答系统为例来了解序列建模问题的样子。

假设您有一系列陈述：

乔去了厨房。弗雷德去了厨房。乔拿起牛奶。
乔走到办公室。乔离开了牛奶。乔去了洗手间。

你被问到以下问题：

乔在办公室前在哪里？

适当的答案是“厨