自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(8)
  • 收藏
  • 关注

原创 SENet(Squeeze-and-Excitation Networks)

spatial 和 channel attention可以理解为关注图片的不同区域和关注图片的不同特征。channel attention的全面介绍可以参考论文:SCA-CNN,通道注意力在图像分类中的网络结构方面,典型的就是SENet。该文提出的SE模块思想简单,易于实现,并且很容易可以加载到现有的网络模型框架中。

2023-04-06 13:40:04 53

原创 7.DenseNet(Dense Convolutional Network )

DenseNet 出现在ResNet之后。它缓解了梯度消失问题,加强了特征传播,鼓励了特征重用,并大幅减少了参数的数量。

2023-03-23 10:52:58 121

原创 6.ResNet(residual)

那么,我们现在假设,在我的网络达到某一个深度的时候,咱们的网络已经达到最优状态了,也就是说,此时的错误率是最低的时候,再往下加深网络的化就会出现退化问题(错误率上升的问题)。因为x是当前输出的最优解,为了让它成为下一层的最优解也就是希望咱们的输出H(x)=x的话,是不是只要让F(x)=0就行了?H(x) = F(x)+x,这里H(x)就是观测值,x就是估计值(也就是上一层ResNet输出的特征映射),残差:观测值与估计值之间的差。采用ResNet的话,也只用小小的更新F(x)部分的权重值就行啦!

2023-03-22 10:47:07 92

原创 5.VGG Net ( Visual Geometry Group)

(2).使用连续几个较小卷积核(3*3)替换AlexNet中的较大卷积核且采用same padding(即p=(f-1)/2),既减少参数,又进行了更多的非线性映射,可以增加网络的拟合能力。(1).VGG-16:2个卷积层+Max Pooling+2个卷积层+Max Pooling+3个卷积层+Max Pooling+3个卷积层+Max Pooling+3个卷积层+Max Pooling+3个全连接层。(6).在测试阶段,将3个全连接层替换为3个卷积层,这样输入层可以接收任意宽或高的图像。

2023-03-20 10:33:45 138

原创 4.AlexNet

如果说LeNet是奠定了卷积神经网络的一个基础,那么AlexNet就是飞跃了一大步。对小明和小亮进行分数加权计算,一般时间越近权重越大,n代表几年前,6代表我们现在是在6年级的时候。τ代表某个时刻,t代表t时的计算。正则化(如Batch Norm)在AlexNet当中大量使用,加快了运算效率。相比,AlexNet网络结构更深,LeNet为5层,AlexNet为8层。引入Drop Out技术,极大的避免的过拟合。C1的基本结构为:卷积–>ReLU–>池化。使用了ReLU函数,避免的梯度的消失问题;

2023-03-20 09:55:31 33

原创 3.LeNet

是一个识别手写数字的经典卷积神经网络,规模很小,但是包含基本的卷积层、池化层、全连接层,构成了现代CNN的基本组件。

2023-03-17 17:11:35 37

原创 2.GNN(Graphic Nuaral Network)

将一个数据(一个图)输入到网络(GNN)中,会得到一个输出数据(同样是图),输出的图和输入的图相比,顶点、边、以及全局信息会发生一些改变。GNN采用“图入图出”架构,也就是说模型将图作为输入,改变图的信息后进行输出。简单来说:GNN模型就是 一张图输入,经过GNN层(实质上就是三个分别对应点、边和全局的MLP),输出一个属性已经变换的图,在经过全连接层,得到输出。总结,比GCN简单,只有MLP使用,没有卷积结构,同样是用在2D图像上。以一张5*5*3的照片为例。

2023-03-16 18:49:06 256

原创 1.GCN(Graph Convolutional Network)

是为了把点与点之间的强度关系归一化,再与H临点相乘,取得本点的新特征,上述曲线是加入了本点特征,两个D~-1/2 是做衰减临点特征用的。往前传递的新的点包含的信息有衰减的连接点的连接强度*连接点特征信息和本点原比重的信息,往前传递n阶该点就会包含n阶邻居的信息。A为有连接强度的邻接矩阵,D为顶点的度矩阵,H为对应顶点的特征向量。A~为有连接强度的加入本点信息的邻接矩阵,D~为加入本点信息的度。,衰减的目的是防止社牛临点过于影响社恐本点的属性。W是权重,b是偏置,σ(sigma)是激活函数。

2023-03-16 17:51:53 68

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除