- 博客(4)
- 收藏
- 关注
RSS订阅原创 Transformer中的注意力机制
注意力机制通过赋予模型对不同部分的关注程度来提高模型的表现力，而Transformer模型则利用多头注意力机制来捕捉输入序列的不同方面的信息。通过计算查询向量和键向量之间的相似度，得到每个键向量对于查询向量的权重，然后将这些值作为值向量的权重，进行加权求和，得到最终的向量表示。这种方法可以捕捉到输入序列的不同方面的信息，提高模型的表现力。在自然语言处理领域中，注意力机制通常应用于文本序列上，它可以将一个文本序列中的每一个词都映射为一个向量，然后对向量进行加权求和，以生成一个代表整个文本序列的向量表示。
2023-04-13 21:12:52
1397
1
原创 Resnet（李沐深度学习）
我们提出一个网络，他可以简化网络的训练，这些网咯整体上比以前深得多。我们显示的用带有与输入层的关系的残差机制重新制定这些层，而不是去学习没有关系的函数。我们提供了全面的经验证据来表明这些残差网络更容易被优化，并且，可以在很深的网络获得准确率。我们用很深的层数，比VGG要深8倍，但是依然有更低的复杂度。这些残差网络的集合在ImageNet网络上的获得了3.57的错误率。在2015分类任务上第一名，我们还在100-1000层上做了分析。
2023-04-05 09:16:14
164
原创 卷积神经网络：汇聚层
汇聚层（Pooling Layer）是卷积神经网络（CNN）中的一种常用操作，其作用是对卷积层输出的特征图进行下采样（缩小特征图大小），从而减少计算量和参数数量，同时提取更为重要的特征。本文将介绍汇聚层的基本原理、实现方式以及常见类型。
2023-03-27 09:38:26
2293
原创 Dropout
Dropout层的作用是在训练过程中，随机地将神经元的输出设置为0，从而强制模型学习更加鲁棒的特征，并且减少了神经元之间的相互依赖关系，使得模型的泛化能力更强。Dropout通过随机的将一部分神经元的输出设为0，从而强制神经网络学习更加鲁棒的特征，并且减少神经元之间的相互依赖，以达到减少过拟合的目的。在这个例子中，我们定义了一个两层的全连接神经网络，第一层的输入是10维，输出是20维，第二层的输入是20维，输出是10维。Dropout的实现非常简单，只需要在神经网络的每一层后添加一个Dropout层即可。
2023-03-22 08:16:41
435
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人