- 博客(3)
- 收藏
- 关注
RSS订阅原创 基于Transformer实现日译中的机器翻译
Transformer是一种先进的神经网络架构，专为处理序列数据而设计，尤其在自然语言处理（NLP）领域产生了革命性的影响。该模型由Google的研究团队于2017年在论文《Attention is All You Need》中首次提出，自那以后，它成为了许多NLP任务的基础，包括机器翻译、文本生成、问答系统等。
2024-06-29 17:06:01
1583
原创 基于注意力机制的机器翻译
我们将连结后的结果与上一时间步的隐藏状态通过门控循环单元计算出当前时间步的输出与隐藏状态。设门控循环单元的隐藏层个数为2，隐藏单元个数为16。门控循环单元在最终时间步的多层隐藏状态的形状为(隐藏层个数, 批量大小, 隐藏单元个数)。其中隐藏层的输入是解码器的隐藏状态与编码器在所有时间步上隐藏状态的一一连结，且使用tanh函数作为激活函数。在下面的例子中，编码器的时间步数为10，批量大小为4，编码器和解码器的隐藏单元个数均为8。其中的输出指的是最后一层的隐藏层在各个时间步的隐藏状态，并不涉及输出层计算。
2024-06-29 17:05:41
1710
原创 使用前馈神经网络进行姓氏分类
一、实验介绍我们通过观察感知器来介绍神经网络的基础，感知器是现存最简单的神经网络。感知器的一个历史性的缺点是它不能学习数据中存在的一些非常重要的模式。例如，查看图4-1中绘制的数据点。这相当于非此即彼(XOR)的情况，在这种情况下，决策边界不能是一条直线(也称为线性可分)。在这个例子中，感知器失败了。图4-1 XOR数据集中的两个类绘制为圆形和星形。请注意，没有任何一行可以分隔这两个类。</center>这一次我们将探索传统上称为前馈网络的神经网络模型，以及两种前馈神经网络:多层感知器和卷积神经网络。
2024-06-29 17:05:14
1668
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人