ismiaodh-CSDN博客

原创（论文翻译）Coordinate Attention for Efficient Mobile Network Design（坐标注意力 CVPR2021）

最近在移动网络设计的研究在通道注意力上（如SENet）表现出引人注意的效果，但是他们普遍忽略了位置信息，这对生成空间注意力特征映射是重要的方法。

2024-06-09 08:00:00 795

原创（Linux）显存被占用-显示没有进程-nohup

这种情况多半是代码中 num_works 的设置大于1导致的。nvidia-smi显示的PID是父进程，那么在kill掉此进程后，子进程仍然在工作。关键问题在于如何找到子进程并终止。

2024-05-25 01:57:10 878

原创（简单易懂）PCA：Principal Component Analysis 主成分分析

Principal Component Analysis（PCA）是一种数据降维方式，可以将n维数据降低到指定的k维。此时延伸出一个问题，为什么数据要进行降维操作。如 Figure 1 在我们常用的二维坐标系中，我们可以很容易的观察出二维数据的分布规律，从而判断出数据的特性。假设在此数据的基础上，加上z轴，每个数据点在z平面上的抖动非常小，则数据点在z轴的变化对于数据整体的特性影响很小。我们足以在x、y轴上观察到数据的主要规律，那么数据在z轴上的维度可以选择忽略。

2024-05-18 22:41:35 1469

原创（论文翻译）Rotate to Attend Convolutional Triplet Attention Module（维度注意力 WACV2021）

背景：受益于通道或空间位置的相互依赖，注意力机制最近被广泛研究并使用在一系列CV任务方法在本文中，我们研究轻量且高效的注意力机制并提出triplet注意力，一种通过使用三分支结构捕获跨维度的计算注意力权重的新颖方法对于输入的张量，triplet attention用最小的计算开销，通过残差转换与编码通道、空间信息的旋转操作建造维度间的依赖我们的方法简单高效，可以简单的作为模块插入经典的主干网络贡献。

2024-05-13 08:30:00 1373

原创（论文翻译）Vision Transformer（视觉Transformer ICLR2021）

挑战虽然Tansformer架构再NLP任务上已经成为实际标准，但是它对CV的应用仍存在限制在视觉中，注意力结合着卷积网络一起应用，或者替换卷积网络的某一部分，同时保持他们的整体结构不变方法我们证明了这种对CNN的依赖是不必要的，一种完全应用Tansformer直接将图片patches序列化可以在图形分类任务中性能更好贡献。

2024-05-12 08:30:00 993 1

原创（论文翻译）Selective Kernel Networks（多尺度注意力CVPR2019）

在标准的CNNs网络中，每层中的人工神经元的感受野size是固定的挑战：众所周知，神经科学领域中，视觉皮层神经元的感受野size随着刺激进行改变，在CNNs的构建中很少被考虑方法在CNNS中，我们提出了一种动态选择机制，它使每个神经元动态的调整基于输入信息的多尺度的感受野size一种SK unit被设计，其中不同感受野size的多种branches通过这些branches上的信息使用进行融合branches上不同的attention在融合层中会产生不同的神经元感受野size。

2024-05-11 08:30:00 1172 1

原创（论文翻译）CBAM Convolutional Block Attention Module（通道+空间注意力ECCV2018）

Convolutional Block Attention Module (CBAM)，一种简单高效的前馈卷积神经网络注意力模块给定一个中间的feature map，我们的模型沿着两个独立的维度推断出attention map，即通道与空间，然后将attention map与输入feature map相乘进行自适应特征细化由于CBAM是一个轻量级的泛化模型，它可以被无缝整合到任意CNN结构

2024-05-10 08:30:00 1278

原创（论文翻译）Squeeze-and-Excitation Networks (通道注意力CVPR2018)

背景：卷积神经网络的目的是通过局部感受野融合空间信息（图像中像素的排列和位置）和通道信息来提取具有更多信息的特征。挑战：如何提升网络的表示能力？提出新方法：我们聚焦在通道关系并提出SE block，它可以通过通道间的依赖关系动态调整通道特征。贡献我们证明了通过不断的SE block堆叠，可以得到极具泛化性的网络结构，并适用于多种数据集。SE block相对于已有的SOTA方法中有着最小额外计算开销。SENets在排名前五的方法中误差降低到2.2512.251\%2.251%。

2024-05-09 11:10:33 733 2

原创（简单易懂）Gaussian Mixed Model 高斯混合模型

GMM具有很多重要的性质，其中最重要的是中心极限定理，它表明许多独立随机变量的均值将近似地服从高斯分布，即使这些变量本身不服从高斯分布。权重越大的高斯分量被选择的概率越高，这确保样本更有可能来自于权重较大的高斯分量，从而符合整体混合模型的分布特点。

2024-05-05 16:51:10 797 1

原创（简单易懂）Variational Inference 变分推理

作为经典的网络结构之一，Auto-Encoder在深度学习的多个领域中有着出色的表现，依赖于重构误差的反向优化，模型可以学习到数据在低维空间的表示，过滤掉数据的冗余特征，得到细粒度特征。但是，AE学习的是确定性编码（潜在表示经常是确定性的），而不是数据的概率分布，不能直接提供关于数据分布的信息，可能会产生过拟合等问题。

2024-05-04 12:16:12 1141

原创（简单易懂）Diffusion Model 扩散模型

整个过程为马尔可夫过程，后一时刻的数据只受前一时刻的数据影响，根据前一时刻不断在后一时刻加入噪声。代表真实数据分布（大量图片），在此分布中采样可得到真实图片。为总步长，迭代求解很慢。我们希望以加噪数据为输入，模型预测去噪后的数据表示为。为每一时刻添加的噪声（均独立同分布），令。的分布数据（去噪过程），但是噪声。，去噪过程同样遵循马尔可夫过程。在反向过程中，我们想要求解。此时，得到关系式，可以通过。是服从高斯分布的真实噪声。替换掉，在正向过程。是神经网络预测的噪声，

2024-05-02 15:04:35 1089 1

qq_39214409的博客