![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 82
机智的小神仙儿
认真沉淀自己,专心学好技术
展开
-
Transformer面试题(二)
在Transformer中,残差结构是指在每个子层(子层通常包括自注意力机制和前馈神经网络)中加入一个“跳跃连接”,即输入可以直接通过这个连接跳到输出端。在Transformer中,前馈神经网络(Feedforward Neural Network, FFN)由两层线性变换和一个非线性激活函数组成。:批量归一化(Batch Normalization)通过对每一批次的数据进行归一化处理,以减少内部协变量偏移。这样,Transformer可以充分利用现代硬件的并行计算能力,大大提高了模型的训练和推理速度。原创 2024-05-31 09:37:12 · 605 阅读 · 0 评论 -
Transformer面试题(一)
面试题原创 2024-05-24 09:48:32 · 725 阅读 · 0 评论 -
为什么要使用注意力机制?
通过注意力机制,网络的文本生成解码器部分能够有选择地访问所有输入标记,这意味着某些输入标记在生成特定输出标记时比其他输入标记更重要。原创 2024-03-29 16:39:11 · 342 阅读 · 0 评论 -
深入探索注意力机制在深度学习中的革命性作用
随着人工智能领域的迅速发展,注意力机制已经成为深度学习研究和应用的一个关键部分。它不仅在理论上为我们提供了一种新的方式来理解和设计神经网络模型,也在实践中显著提高了多种任务的性能,尤其是在自然语言处理和计算机视觉领域。注意力机制的成功归功于其独特的能力,即在处理信息时能够聚焦于最重要的部分,这一点模仿了人类注意力的工作方式。它的引入不仅解决了传统深度学习模型在处理长序列数据时的一些问题,也开启了并行计算和更高效数据处理的新可能。原创 2024-01-19 10:46:00 · 431 阅读 · 0 评论 -
生成对抗网络GAN(MNIST实现、时间序列实现)
生成对抗网络(Generative Adversarial Network,简称GAN)是一种深度学习模型,由Ian Goodfellow等人于2014年提出。它由两个主要组件组成:生成器(Generator)和判别器(Discriminator)。GAN的目标是通过两个网络之间的对抗学习来生成逼真的数据。生成器(Generator): 生成器是一个神经网络,它接收一个随机噪声向量作为输入,并试图将这个随机噪声转换为逼真的数据样本。在训练过程中,生成器不断试图提高生成样本的质量,使其能够欺骗判别器。原创 2024-01-17 09:29:14 · 1753 阅读 · 17 评论 -
Transformer详解(附代码实现及翻译任务实现)
附Transformer代码实现原创 2024-01-16 10:55:29 · 1762 阅读 · 0 评论 -
深入了解Transformer:从编码器到解码器的神经网络之旅
Transformer的设计不仅是自然语言处理领域的一个重大突破,也为机器学习和人工智能的未来发展提供了新的视角。其强大的性能和广泛的应用潜力使其成为当前和未来技术进步的关键因素之一。原创 2024-01-16 10:39:00 · 1567 阅读 · 1 评论