- 博客(6)
- 收藏
- 关注
RSS订阅原创 10.12_machine-translation__1_
机器翻译是指将一段文本从一种语言自动翻译到另一种语言。因为一段文本序列在不同语言中的长度不一定相同，所以我们使用机器翻译为例来介绍编码器—解码器和注意力机制的应用。
2024-06-29 23:29:36
816
原创 10.11_attention
在10.9节（编码器—解码器（seq2seq））里，解码器在各个时间步依赖相同的背景变量来获取输入序列信息。当编码器为循环神经网络时，背景变量来自它最终时间步的隐藏状态。现在，让我们再次思考那一节提到的翻译例子：输入为英语序列“They”“are”“watching”“.”，输出为法语序列“Ils”“regardent”“.”。不难想到，解码器在生成输出序列中的每一个词时可能只需利用输入序列某一部分的信息。
2024-06-29 23:29:09
753
原创 10.10_beam-search
上一节介绍了如何训练输入和输出均为不定长序列的编码器—解码器。本节我们介绍如何使用编码器—解码器来预测不定长的序列。上一节里已经提到，在准备训练数据集时，我们通常会在样本的输入序列和输出序列后面分别附上一个特殊符号"<eos>“表示序列的终止。我们在接下来的讨论中也将沿用上一节的全部数学符号。为了便于讨论，假设解码器的输出是一段文本序列。设输出文本词典Y（包含特殊符号”<eos>“）的大小为∣Y∣，输出序列的最大长度为T′。所有可能的输出序列一共有O∣Y∣T′种。
2024-06-29 23:27:19
886
原创 10.9_seq2seq
我们已经在前两节中表征并变换了不定长的输入序列。但在自然语言处理的很多应用中，输入和输出都可以是不定长序列。以机器翻译为例，输入可以是一段不定长的英语文本序列，输出可以是一段不定长的法语文本序列，例如英语输入：“They”、“are”、“watching”、“.”法语输出：“Ils”、“regardent”、“.”当输入和输出都是不定长序列时，我们可以使用编码器—解码器（encoder-decoder）[1] 或者seq2seq模型 [2]。
2024-06-29 23:19:24
653
原创 自然语言处理 使用前馈网络进行姓氏分类
我们通过观察感知器来介绍神经网络的基础，感知器是现存最简单的神经网络。感知器的一个历史性的缺点是它不能学习数据中存在的一些非常重要的模式例如，查看图4-1中绘制的数据点。这相当于非此即彼()的情况，在这种情况下，决策边界不能是一条直线(也称为线性可分)。在这个例子中，感知器失败了。图4-1 XOR数据集中的两个类绘制为圆形和星形。请注意，没有任何一行可以分隔这两个类。多层感知器在结构上扩展了简单感知器，将多个感知器分组在一个单层，并将多个层叠加在一起。
2024-06-27 01:07:25
420
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人