![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
网络学习
小葵花闪闪发光
今天也是收获满满的一天!
展开
-
训练数据归一化为(0,1)还是(-1,1)?
在跑UNet时,我将图像输入归一化为(-1,1),激活函数用的Relu,网络学不到东西。我的经验是,用diffusion model做生成任务时,将图像输入归一化为(-1,1),应该也是因为噪声通常是均值为零的对称分布(还没考证)。数据的范围:如果数据的取值范围主要集中在非负数或者非正数区间,那么归一化到(0,1)范围更合适。数据的对称性:如果数据存在负数值,并且对称性很重要,那么归一化到(-1,1)范围更适用。(我做实验将图像归一化为(0,1),用Relu也不行,不知道啥原因了)原创 2023-12-10 23:40:02 · 749 阅读 · 0 评论 -
Conditional Reconstruction Pretraining
Reconstruction 是一种常用的预训练方式,包括。原创 2023-12-09 15:41:24 · 374 阅读 · 0 评论 -
平均池化和最大池化
pooling的结果是使得特征减少,参数减少,但pooling的目的并不仅在于此。pooling目的是为了保持某种不变性(旋转、平移、伸缩等),常用的有mean-pooling,max-pooling和Stochastic-pooling三种。平均池化更多保留背景信息map中所有信息都有用的时候选择avgpool如分割的时候,用global avgpool来获取全局上下文关系如224×224图像分类将最后的7×7map进行avgpool而不是maxpool,是因为网络深层的高级语义信息一般来说都原创 2022-03-09 15:37:44 · 2343 阅读 · 0 评论 -
如何选择正确的激活函数?
如何选择正确的激活函数?根据问题的性质,我们可以为神经网络更快更方便地收敛作出更好的选择。用于分类器时,Sigmoid函数及其组合通常效果更好。由于梯度消失问题,有时要避免使用sigmoid和tanh函数。ReLU函数是一个通用的激活函数,目前在大多数情况下使用。如果神经网络中出现死神经元,那么PReLU函数就是最好的选择。请记住,ReLU函数只能在隐藏层中使用。转载自: https://baijiahao.baidu.com/s?id=1582399059360085084&wfr=原创 2022-03-09 15:08:33 · 1249 阅读 · 0 评论 -
SE模块的理解
之前对SE模块的两个全连接层的作用和设置有疑问,于是和实验室同学讨论学习了一下,以下是我自己的理解,如果有不准确的地方请批评指正。1、压缩(Squeeze)进行的操作是 全局平均池化(global average pooling)特征图被压缩为1×1×C向量2、激励(Excitation)两个全连接层。两个FC组成一个可训练的函数,用来学习通道注意力。(所以FC激活函数不是线性的就行)两个FC构成了bottleneck结构:(SERatio是一个缩放参数)第一个FC把神经元数量减少了 1.原创 2022-03-08 19:18:14 · 2768 阅读 · 0 评论 -
LeNet;
LeNetC3层的16张图存在的一个方式是:C3的前6个特征图以S2中3个相邻的特征图子集为输入。接下来6个特征图以S2中4个相邻特征图子集为输入。然后的3个以不相邻的4个特征图子集为输入。最后一个将S2中所有特征图为输入。原因:1)减少参数,2)这种不对称的组合连接的方式有利于提取多种组合特征。最后两层F8层:84个值对应一个比特图得84个像素Output层 :在比较预测的比特图与数字i的比特图每个像素进行比较,相差越小,值越接近0,越证明就是这个数字。==径向基函数:==一个取值仅原创 2021-01-01 21:02:45 · 147 阅读 · 0 评论