月下花弄影

相加 add非线性相加（结合注意力机制）相乘 multiply相连 concatenate统计数据融合（normalization）参考文献1： Selective Kernel Networks2： Large Scale GAN Training for High Fidelity Natural Image Synthesis3: Toward Multimod...

问题的提出：如何增加卷积神经网络的深度【feature extractor 系列文章2】里介绍了ZFNet，该论文里面试图分析卷积层的作用，通过转置卷积对卷积层进行了可视化，使我们知道了随着层的增加，得到的特征越来越复杂，深层的卷积操作会将浅层的特征进行重组得到更接近object级别的特征。这里就提出了一个问题：卷积层的深度应该多少合适呢？而且层数太少肯定不太好。于是有了一个关键的问题：怎样...

在卷积神经网络中，卷积核大小为1*1的卷积有什么作用呢？有两个作用：1. 改变channel的数量2. 增加非线性程度第一个比较好理解，那就是1*1卷积不改变特征图的大小或者尺寸（当然，你也可以改变，通过stride大于1来实现，这时会损失空间信息。还有就是通过加一个pooling层在这个卷积后面）。另外，这里的改变是指我们可以增加通道数，也可以减小通道数。第二个则是很多人可能不了解的作...

本文作为深度学习的突破性文章，将卷积神经网络用在图片的分类上，极大的提高了分类的准确率。背景和基础知识首先，本文先说一下本文的背景知识和一些基本概念。我们说机器视觉领域主要针对图像和视频，以他们为处理对象，这和其他应用比较起来，一个很大的区别就是图片和视频的输入量是很多，复杂度也就高的多。机器学习中想要提高性能的三大方法：得到大的训练数据更好的模型（本文主要针对的问题，但是其他两个方...

感受野可以说卷积神经网络中比较重要的一个知识点了，对于理解神经网络的原理应该是有重要作用的。本文旨在说明如何计算感受野。基本知识1. 普通神经网络基本构成：卷积核大小，步长，padding2. 计算输出特征图大小：看下面的第二幅图里面的公式我相信大家看到本篇博客的时候，应该已经知道了什么是卷积神经网络。对于不知道卷积神经网络的，建议去看CS231n的网络课程，里面非常详细。考虑到卷积神经...

1.什么是特征提取？特征提取的英文叫做feature extractor，它是将一些原始的输入的数据维度减少或者将原始的特征进行重新组合以便于后续的使用。简单来说有两个作用：减少数据维度，整理已有的数据特征。这里我给一个例子来解释特征提取的第二个作用。那就是我们很熟悉的奖学金评定，我们知道学生的文化课成绩，道德分数，以及各种其他竞赛的成绩。摆在奖学金评定委员会面前的任务就是如何知道一个学生是否...