常用神经网络解决的问题、适用的范围以及一些tricks的使用条件（不定时更新）

CNN

cnn解决的问题:dnn功能强大，但参数过多，处理图像这种大数据量的对象效率很低且易overfitting

cnn就是局部连接，权值共享的dnn，这样就减少了参数的数量

同时，也可以关注cnn组成元素的物理意义，以传统数字图像处理中的相关卷积作为参数的物理意义，以灰度变换作为激活函数的物理意义，这样对处理图像就合乎情理地有效。

归一初始化与BN批标准化

针对训练过程中的基于iid假设的covariant shift问题，提出了归一初始化的方式

针对训练过程中出现的internal covariant shift问题（连带着一些梯度消失等问题），引入BN批标准化加以解决

ResNet

为了解决神经网络出现深度加深但性能不升反而下降的这一不符合逻辑的 “网络退化问题”，引入残差神经网络resnet来使得神经网络可以被训练的更深

FCN

fcn全卷积网络之所以选择去掉全连接层，是因为以下两点：①全连接层参数较多，且限制了输入尺寸 ②展平成全连接层时，摒弃了图像中的位置信息，而分割任务对位置信息要求较高

U-Net

U–Net能在医学图像分割上获得很好的结果很大程度上是因为它的skip–connection layer，综合使用了浅层的局部表征信息与深层的全局语义信息，使得图像分割的效果更好

GAN

GAN中加入对抗网络是为了补偿在极大似然估计等方法中造成的逼近误差，用对抗损失来弥补这部分误差（个人理解:在一些精细任务里，这种逼近误差是致命的）

Attention Model

在图像处理中引入注意力模型，是因为cnn中的卷积操作主要针对像素点的领域，较远的区域和该像素点的相关性没有被考虑

而注意力机制是针对全局的，考虑的像素点间关系更加完整

这也是CNN与AM的关系与区别

4.11更新 对抗loss

GAN引入的对抗性的loss，还可以用于解决特征对齐的问题（feature alignment）

比如输入进神经网络的又大的local细胞图和小的global细胞图，但要计算的特征是一起使用去预测了，为了解决这样的特征对齐问题，就可以用这种损失函数。（参考HUST Xin Yang老师2020年的的论文）

4.11更新 1x1 conv

1x1卷积作为NIN函数逼近器基本单元，除了增强了网络局部模块的抽象表达能力外，在现在看来还可以实现跨通道特征融合和通道升维降维。

Data Augmentation

使用逻辑

数据增强其实就是模拟人的推理、学习过程
或者说，模拟实际生活中，人处理这个问题，是怎么样的，会遇到什么样的情形