羲和-CSDN博客

原创 Transformer模型详解（二），多头自注意力机制（Muti-HeadSelf Attention）

多头顾名思义就是同时通过多个自注意力机制进行特征提取，图不同深度的颜色就代表了多头，h表示了多头的数量，完成多头的计算后，再使用一个线性层，将多组自注意力机制的计算结果进行结合再输出。其中自注意力机制会分别使用QKV，三个线性层对输入数据进行特征变换，并使用scaled dot product attention的计算方法，将特征变化后的QKV进行结合。代入到QKV的计算公式中，计算注意力机制的输出，本质上对QKV3组信息进行选择和融合，得到一个最终的注意力结果。

2024-07-12 23:09:27 291

原创 Transformer模型详解（一），Attention is all you need

Transformer与RNN与CNN是一样的，都可以理解为一种深度学习模型。

2024-07-12 22:41:48 559

原创（最新版）在conda虚拟环境中配置cuda+cudnn+pytorch深度学习环境

最近重新配置环境发现现有的教程太久远了，部分内容i经不适用了，所以在前人的及基础上进行了补充和改正。首先，确保已经安装好，安装过程很简单，傻瓜安装即可。如果你还不是很清楚CUDA，CUDATookit，cuDNN，Pytorch分别在深度学习环境中的定位与关系，推荐看一下这篇文章（）另外，如果你还不是特别理解虚拟环境的作用，建议看一下这位大佬的视频OK，开始正文，搞事开始。

2024-06-02 13:30:08 580

原创 ResNET简介与个人理解

一、开发背景残差神经网络(ResNet)是由微软研究院的何恺明、张祥雨、任少卿、孙剑等人提出的，斩获2015年ImageNet竞赛中分类任务第一名，目标检测第一名。残差神经网络的主要贡献是发现了，并针对退化现象发明了，极大的消除了深度过大的神经网络训练困难问题。神经网络的“深度”首次突破了100层、最大的神经网络甚至超过了1000层。二、网络结构残差单元（残差块）ResNet团队分别构建了带有“直连边（Shortcut Connection）”的、以及。

2024-04-27 10:59:38 808

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

原创 Transformer模型详解（二），多头自注意力机制（Muti-HeadSelf Attention）

原创 Transformer模型详解（一），Attention is all you need

原创 （最新版）在conda虚拟环境中配置cuda+cudnn+pytorch深度学习环境

原创 ResNET简介与个人理解

空空如也

空空如也

原创（最新版）在conda虚拟环境中配置cuda+cudnn+pytorch深度学习环境