- 博客(8)
- 收藏
- 关注
RSS订阅原创 SENet（Squeeze-and-Excitation Networks）
spatial 和 channel attention可以理解为关注图片的不同区域和关注图片的不同特征。channel attention的全面介绍可以参考论文：SCA-CNN，通道注意力在图像分类中的网络结构方面，典型的就是SENet。该文提出的SE模块思想简单，易于实现，并且很容易可以加载到现有的网络模型框架中。
2023-04-06 13:40:04
54
原创 7.DenseNet(Dense Convolutional Network )
DenseNet 出现在ResNet之后。它缓解了梯度消失问题，加强了特征传播，鼓励了特征重用，并大幅减少了参数的数量。
2023-03-23 10:52:58
122
原创 6.ResNet(residual)
那么，我们现在假设，在我的网络达到某一个深度的时候，咱们的网络已经达到最优状态了，也就是说，此时的错误率是最低的时候，再往下加深网络的化就会出现退化问题（错误率上升的问题）。因为x是当前输出的最优解，为了让它成为下一层的最优解也就是希望咱们的输出H(x)=x的话，是不是只要让F(x)=0就行了？H(x) = F(x)+x，这里H(x)就是观测值，x就是估计值（也就是上一层ResNet输出的特征映射），残差：观测值与估计值之间的差。采用ResNet的话，也只用小小的更新F(x)部分的权重值就行啦！
2023-03-22 10:47:07
92
原创 5.VGG Net ( Visual Geometry Group)
(2).使用连续几个较小卷积核(3*3)替换AlexNet中的较大卷积核且采用same padding(即p=(f-1)/2)，既减少参数，又进行了更多的非线性映射，可以增加网络的拟合能力。(1).VGG-16：2个卷积层+Max Pooling+2个卷积层+Max Pooling+3个卷积层+Max Pooling+3个卷积层+Max Pooling+3个卷积层+Max Pooling+3个全连接层。(6).在测试阶段，将3个全连接层替换为3个卷积层，这样输入层可以接收任意宽或高的图像。
2023-03-20 10:33:45
138
原创 4.AlexNet
如果说LeNet是奠定了卷积神经网络的一个基础，那么AlexNet就是飞跃了一大步。对小明和小亮进行分数加权计算，一般时间越近权重越大，n代表几年前，6代表我们现在是在6年级的时候。τ代表某个时刻，t代表t时的计算。正则化（如Batch Norm）在AlexNet当中大量使用，加快了运算效率。相比，AlexNet网络结构更深，LeNet为5层，AlexNet为8层。引入Drop Out技术，极大的避免的过拟合。C1的基本结构为：卷积–>ReLU–>池化。使用了ReLU函数，避免的梯度的消失问题；
2023-03-20 09:55:31
34
原创 2.GNN(Graphic Nuaral Network)
将一个数据（一个图）输入到网络（GNN）中，会得到一个输出数据（同样是图），输出的图和输入的图相比，顶点、边、以及全局信息会发生一些改变。GNN采用“图入图出”架构，也就是说模型将图作为输入，改变图的信息后进行输出。简单来说：GNN模型就是 一张图输入，经过GNN层（实质上就是三个分别对应点、边和全局的MLP），输出一个属性已经变换的图，在经过全连接层，得到输出。总结，比GCN简单，只有MLP使用，没有卷积结构，同样是用在2D图像上。以一张5*5*3的照片为例。
2023-03-16 18:49:06
262
原创 1.GCN(Graph Convolutional Network)
是为了把点与点之间的强度关系归一化，再与H临点相乘，取得本点的新特征，上述曲线是加入了本点特征，两个D~-1/2 是做衰减临点特征用的。往前传递的新的点包含的信息有衰减的连接点的连接强度*连接点特征信息和本点原比重的信息，往前传递n阶该点就会包含n阶邻居的信息。A为有连接强度的邻接矩阵，D为顶点的度矩阵，H为对应顶点的特征向量。A~为有连接强度的加入本点信息的邻接矩阵，D~为加入本点信息的度。，衰减的目的是防止社牛临点过于影响社恐本点的属性。W是权重，b是偏置，σ（sigma）是激活函数。
2023-03-16 17:51:53
69
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人