syzAIer-CSDN博客

原创基于注意力机制的机器翻译

对于门控循环单元来说，上图形象化展示了人类在看到一副图像时是如何高效分配有限的注意力资源的，其中红色区域表明视觉系统更关注的目标，很明显对于上图所示的场景，人们会把注意力更多投入到人的脸部，文本的标题以及文章首句等位置。这是人类利用有限的注意力资源从大量信息中快速筛选出高价值信息的手段，是人类在长期进化中形成的一种生存机制，人类视觉注意力机制极大地提高了视觉信息处理的效率与准确性。接下来我们实现一个完整的机器翻译模型的训练过程，包括了编码器和解码器的定义、损失函数的计算、优化器的使用以及数据的加载和迭代。

2024-06-29 20:31:33 1023

原创 pytorch框架下的基于Transformer的日译中翻译模型

Transformer模型是一种基于注意力机制的神经网络架构，广泛应用于自然语言处理任务中，特别是机器翻译。相较于传统的循环神经网络（RNN）或者卷积神经网络（CNN），Transformer模型通过自注意力机制（self-attention）实现对输入序列全局信息的建模，有效处理长距离依赖关系。该模型由Vaswani等人在2017年提出，革新了序列到序列学习的范式。

2024-06-29 17:33:55 1368

原创基于前馈神经网络的姓氏分类

前馈神经网络（Feedforward Neural Network）是一种基本的人工神经网络模型，被广泛用于各种机器学习任务，包括分类、回归和模式识别等。本文主要介绍两种前馈神经网络：多层感知机（MLP）和卷积神经网络（CNN）。前馈神经网络一般由多层神经元组成，通常包括输入层、若干隐藏层和输出层。输入层接收原始数据输入，每个输入对应一个特征；隐藏层位于输入层和输出层之间，通过学习权重和偏置来提取输入数据的高级特征；输出层产生最终的预测或分类结果。

2024-06-29 12:15:16 1208 1