- 博客(10)
- 收藏
- 关注
RSS订阅原创 20230328组会总结
SLaK通过将一个大的正方形卷积划分为两个并行的长方形卷积，通过合理的划分改善了大卷积核不能保持局部特性的缺陷，做出了51*51的更大的卷积核。提出了layer-wise attention(LWA)，根据深度图（D）的准确程度，动态确定每层的具体融合策略，越准确的D，应该越早被充分融合，因为他们的轮廓会给予RGB很大的指导。（1）设计了一个高效的转换层(ETL)，为所提出的高效条形窗口Transformer(ESWT)提供了一个简洁的结构，避免了多余操作。
2023-04-03 08:03:29
146
原创 第七周学习总结
一、【BMVC2018】BAM: Bottleneck Attention Module论文摘要：在这项工作中，我们把重心放在了Attention对于一般深度神经网络的影响上，我们提出了一个简单但是有效的Attention 模型—BAM，它可以结合到任何前向传播卷积神经网络中，我们的模型通过两个分离的路径 channel和spatial, 得到一个Attention Map。1、channel attention branch2、Spatial attention ...
2021-10-24 23:53:04
179
原创 第六周学习总结
一、SENetSENet_qq_38701321的博客-CSDN博客二、SKNetSplit操作是将原feature map分别通过一个3×3的分组/深度卷积和3×3的空洞卷积（感受野为5×5）生成两个feature map :U1（图中黄色）和U2（图中绿色）。然后将这两个feature map进行相加，生成U。生成的U通过Fgp函数（全局平均池化）生成1×1×C的feature map(图中的s)，该feature map通过Ffc函数（全连接层）生成d×1的向量(图中的z)，公式如图中所.
2021-10-17 23:31:38
133
原创 SENet
SENet的提出动机非常简单，传统的方法是将网络的Feature Map等权重的传到下一层，SENet的核心思想在于建模通道之间的相互依赖关系，通过网络的全局损失函数自适应的重新矫正通道之间的特征相应强度。SENet由一些列SE block组成，一个SE block的过程分为Squeeze（压缩）和Excitation（激发）两个步骤。其中Squeeze通过在Feature Map层上执行Global Average Pooling得到当前Feature Map的全局压缩特征向量，Excitation通
2021-10-17 23:14:40
170
原创 第五周作业：卷积神经网络（Part3）
一、MobileNetV1 网络这篇论文是 Google 针对手机等嵌入式设备提出的一个小网络模型，主要侧重于简单有效，描述了一个有效的网络架构和两个超参数来建立非常小的、低延迟的模型，以便轻松匹配移动和嵌入式视觉应用的设计要求。Mobilenet v1核心是把卷积拆分为Depthwise+Pointwise两部分。深度卷积在每个通道上应用一个卷积核。逐点卷积接着应用1*1卷积把输出和深度卷积结合起来。标准卷积在一个步骤把卷积核和输入结合为新的输出。深度可分离卷积将其分为两层，一层用...
2021-10-04 00:34:34
371
原创 第三周作业：卷积神经网络（Part1）
一、卷积神经网络1、从全连接到卷积 当所给信息太多时，用多重感知机处理全部信息会非常的麻烦，且需要大量的资源，所以使用卷积神经网络选取给定范围内的信息进行学习得出较好的训练结果，卷积的本质是有效提取相邻像素间的相关特征。 我的理解是：假如给定一张照片，先用一个卷积层提取出人脸边缘的轮廓信息，再用一个卷积层提取出脸部纹理信息，再用一个卷积层提取出眼睛鼻子嘴巴等特征，再用一个卷积层提取出更细节的信息等等，这样的话，最后根据所有一层一层提取出来的信息就可以合成一个人的全部特征了...
2021-09-20 20:25:01
2883
原创 第二周作业：多层感知机
一、线性神经网络 1、线性模型权重决定了每个特征对我们预测值的影响。偏置是指当所有特征都取值为0时，预测值应该为多少。线性模型可以看做是单层神经网络，只有一个输入层和一个输出层2、损失函数损失函数能够量化目标的实际值与预测值之间的差距。通常我们会选择非负数作为损失，且数值越小表示损失越小，完美预测时的损失为0。回归问题中最常用的损失函数是平方误差函数。当样本ii的预测值为y^(i)y^(i)，其相应的真实标签为y(i)y(i)时，平方误差可以定义为以下公式：...
2021-09-12 23:43:25
467
原创 2021-09-05
第一次作业：深度学习基础一、数据操作基本操作 张量（Tensor）：实际为n维数组，具有一个轴的对应数学上的向量，具有两个轴的对应数学上的矩阵，三个及以上的无特殊称谓。arrange可创建一个行向量，即一个轴的张量，其中每个值称为张量的元素（element） shape可以访问张量的形状（沿每个轴的长度） numel可以知道张量中所有元素的总数 reshape可以改变张量的形状，比如将向量改变为矩阵，只需规定一个及以上的轴的长度，其他轴的长度可以用-1代替 可以使用全0、全1、其他..
2021-09-05 19:56:37
287
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人