深度学习种通道维度的先升维再降维和先降维再升维的意义

原创已于 2024-07-16 20:16:23 修改

· 991 阅读

2 ·

版权

文章标签：

#深度学习

于 2024-07-16 20:15:51 首次发布

升维----->降维

先升维再降维操作的目的是为了在高纬度高特征的情况下进行总结和归类，一般出现在分类网络最后！当我们进行卷积操作时，升维操作可以想象成聚合来自不同通道的信息来扩展特征表达，产生更丰富和多样化的特征表示。对于一个目标来说，即多了许多参考。

降维----->升维

先降维再升维操作的目的是为了提取更加抽象的特征，降维再升维后可以总结各个通道的重要性，即每个通道拥有的重要特征信息数量。一般出现在通道注意力网络种。

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小ccccc

关注关注

3
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

机器学习(3)--特征工程之数据降维

Ona_Soton的博客

09-19

623

降维这里的维度指降低特征的数量【这里的降维不是指数组的维度】

深度学习embedding方法，降维，以及pytorch中使用embedding

weixin_41106546的博客

04-24

8267

形式上讲，Embedding就是用。

参与评论您还未登录，请先登录后发表或查看评论

深度学习：大白话一口气解释卷积运算，反卷积，分层卷积

m0_73426548的博客

03-03

1980

假如上图是一张像素3*4的图片，那么卷积核就是图片旁边的Kernel 2*2的矩阵，滑动窗口就是图片中标黑的2*2的方框，用滑动窗户框住的矩阵和卷积核进行点乘求和（不是矩阵相乘），滑动窗口按照自己定义的步长Stride每移动一次计算一次，直到滑动完整个图片，卷积结束。和上面的卷积运算不一样的是这里新加了一个维度（通道数），那么我们给卷积核也加上整个维度就可以了，每个维度的图片像素数据和卷积核分别像上面的卷积运算一样运算后，在将每个维度卷积后的数值加起来就是上图那样啦！个通道，1×1卷积核可以生成。

深度学习中降维和升维

m0_46409054的博客

12-04

2727

深度学习 降维和升维

阿里面试官问：为什么Transformer的FFN需要升维再降维?

m0_56255097的博客

01-02

465

综上所述，FFN的升维操作本质上是为了拟合一个更高维的映射空间，从而提升模型的表达能力和拟合精度。尽管升维有助于捕捉更多的信息，但理论上需要无限多的自由度来表达完整的光滑映射。然而，所有可能的平滑映射组成的空间是无限维的，因而需要通过升维来完整表示这一空间。FFN的第一个线性层及激活函数组合，可以看作是在学习一组基函数，每个神经元可以视作一个简单的分类器，用以近似输入数据的高维映射。升维操作有效扩展了网络的自由度，使得模型能够学习更多的特征表示，从而提升模型的拟合能力。

全连接层中先升维再降维其中的含义：以FeedForward为例

m0_62965652的博客

06-03

1004

全连接层中先升维再降维

数据降维的前前后后

luckoovy的博客

07-05

539

为什么要进行降维处理？1.多重共线性--预测变量之间相互关联。多重共线性会导致解空间的不稳定，从而可能导致结果的不连贯。2.高维空间本身具有稀疏性。一维正态分布有68%的值落于正负标准差之间，而在十维空间上只有0.02%。3.过多的变量会妨碍查找规律的建立。4.仅在变量层面上分析可能会忽略变量之间的潜在联系。例如几个预测变量可能落入仅反映数据某一方面特征的一个组内。降维的目的：1.减少预测变量的个...

【随笔】为什么transformer的FFN先升维后降维&FFN的作用

m0_53162279的博客

10-31

1381

Transformer 中的前馈神经网络通过先提升再缩小维度，实现了在相对较低输入维度（dmodeldmodel）条件下提升网络的表达能力，同时保持输入输出的一致性。

多层感知机先升维再降维

07-29

因此，多层感知机先升维再降维是为了更好地适应数据的特点和任务的需求。\[1\]\[3\] #### 引用[.reference_title] - *1* [【动手学深度学习 | week3a】感知机与多层感知机]...

详细说明SVM算法，并且特别说明怎么通过先升维再降维来解决问题的？生活中有这样的例子吗

强化学习曾小健

01-22

862

SVM通过升维解决了许多非线性问题，并通过核方法避免了显式计算高维映射的复杂性。在实际应用中，其强大的分类能力和泛化性能使其成为许多领域的首选算法。然而，在大数据场景下，可能需要结合其他方法（如降维技术或分布式计算）以提高效率。

1乘1卷积核怎么用于通道升维或降维

最新发布

04-04

在深度学习中，1x1卷积核（又称“点卷积”）可通过线性变换实现特征图通道数的升维或降维。其核心原理是通过控制卷积核的数量，对输入特征图的通道维度进行重新组合。以下是具体实现方式： #### 一、降维操作（通道...

升维与降维硬核分析干货【全面无坑版】

举个栗子的博客

12-09

2276

升维是指将数据从低维空间映射到高维空间的过程。其主要目的是通过引入新的特征，增强数据的表达能力，使得复杂的模式和关系在高维空间中更加显著，从而提升模型的性能。升维常用于处理非线性可分的数据，使其在高维空间中变得线性可分例子：多项式回归中，特征从原始的线性空间升维到高次多项式空间，允许模型学习到非线性关系升维与降维是计算机视觉中处理高维数据的两种基本而重要的技术手段。升维通过引入新的特征，增强了模型的表达能力，使其能够捕捉到更复杂的模式和关系；

降维的方法

chenchaohuan的博客

09-13

343

1.嵌入：通过某种数学变换将原始高纬属性空间转变为一个低维度子空间使原始空间样本之间的距离在低维度空间得到保持。 2.主成成份分析： 3.核化线性降维度： 4..流形学习： 4.1 局部等度量映射 4.2 局部线性嵌入 5.度量学习：...

降维方法

knight的博客

04-02

321

1. PCA (主成分分析) 在信号处理中认为信号具有较大的方差，噪声有较小的方差将数据映射后在每个维度方差都最大。 2. LDA(线性判别分析) LDA的思想可以用一句话概括，就是“投影后类内方差最小，类间方差最大”。什么意思呢？我们要将数据在低维度上进行投影，投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大。...

第二周深度学习总结

weixin_72552113的博客

07-19

641

卷积神经网络

pytorch中的tensor实现数据降维以及通道数转换

yangfaner2021的博客

11-16

8389

上例中torch.narrow(x,0,2,3)，因x为5X6的二维tensor，由两个维度[0,1]，0表示第一维,横向，1表示第二维，纵向；且第一维通道数为5，第二维通道数为6。第三个变量为所选维度中的第几个通道为起点。如果在深度学习中图像处理中常遇到思维tensor，即x.shape=[9，3，256，256],3代表彩色图片RGB的三个通道数，如想实现降维操作，可将x的第二维的通道数3变为1，再使用x=torch.squeeze(x,dim=1)实现降维，降维后shape变为[9,256,256]

深度学习中，卷积运算为何能对图像矩阵进行升维降维？

厚积薄发的博客

08-15

1448

最近有小伙伴表示不理解1*1卷积为何能对输入矩阵进行升维降维，所以我这里专门来讲一下。当然不止1*1卷积，其实所有不同kernel_size的卷积都能实现降维和升维。现在很多深度学习的第三方库，比如Pytorch、tensorflow帮我们完成了很多基础运算，但作为AI研究者，还是应该知道卷积具体在做什么。在这里，我默认读者知道数学上的卷积运算和互相关运算(cross-correlation)，深度学习中，每一个卷积核实际上进行的是数学上的互相关运算。

分享3个深度学习练手的小案例

m0_64336780的博客

05-19

7426

最近有粉丝找到我问了三个关于深度学习的问题，也算是小作业吧，做完之后我便写下这篇文章分享给大家，我的答案仅供参考学习，如有疑问或建议欢迎提出！

深度学习中的Embedding（嵌入）层

qq_54708219的博客

03-04

4950

Embedding（嵌入）层深度解析

卷积中先降维再升维作用

05-17

在卷积神经网络中，通过卷积操作可以提取图像中的特征。在卷积过程中，卷积核会滑动在输入图像上，对每个位置的像素进行卷积操作，从而得到输出特征图。在卷积操作中，先降维再升维的作用主要有两个方面： 1. 减少参数数量：在卷积操作中，如果输入特征图比较大，卷积核的大小也会相应增加，这样会导致参数数量急剧增加，从而导致模型过于庞大，难以训练。通过先进行降维操作，可以减小输入特征图的大小，从而减少卷积核的大小，进而减少参数数量。 2. 提高特征表达能力：在卷积操作中，先进行降维再升维，相当于进行了一次非线性变换。这样可以增加特征的非线性表达能力，更好地提取图像中的特征。同时，升维操作也可以增加输出特征图的通道数，从而增加特征的多样性，提高模型的表达能力。