残差网络

 

 

• 残差网络

         作用
          ① 可以解决梯度弥散的问题：信息不通畅 

          ②可以解决网络退化问题：网络传递相当于一个水管，上面有不同的水阀门，正向信息传递，会过滤掉没有用的信息，反向传递的信息是误差，实际上，随着网络深度的加深，训练错误会越来越多。 但有了ResNets就不一样了，即使网络再深，训练的表现却不错，比如说训练误差减少，就算是训练深达100层的网络也不例外。有人甚至在1000多层的神经网络中做过实验，尽管目前我还没有看到太多实际应用。但是对 的激活，或者这些中间的激活能够到达网络的更深层。这种方式确实有助于解决梯度消失和梯度爆炸问题，让我们在训练更深网络的同时，又能保证良好的性能。也许从另外一个角度来看，随着网络越来深，网络连接会变得臃肿，但是ResNet确实在训练深度网络方面非常有效。 

 

 

• 批量规划：添加重采样---添加e的作用是防止除数为0 b：控制左右移动(类似均值） r:控制形状（类似方差）
• γ和β类似超参数
• 

 意义：

    图形出来后，净输出比较重要，要控制他的范围（一般为-1，1），经过几次权重后净输出变得会比较难控制，会发生梯度弥散的现象。所以在净输出和激活函数之间添加Bach Normalization，使其范围尽量在（-1,1）之间

路径：

  将所有净输出加起来进行批量规划，可以自动调节净输出， 通过控制均值和方差，可以控制图像的位置和压缩形状，

第一层：

    eg，正态分布：  均值控制它的位置，方差控制它的压缩程度

　.Instance Normalization

　 近日利用GAN做模糊复原，一种生成类任务，很多文章提到用Instance Normalization比Batch Normalization效果更好。主要浏览了知乎上问题https://www.zhihu.com/question/68730628
     数学方面的推导不是很懂，暂时的理解如下:
     1.两者区别在于一个是对Batch做分布调整，一个是对单张图像做分布调整
     2. 分类任务中（识别猫，狗），类别较为明显，用Batch效果更好，更易于分类。但生成类任务中，类别不明显，生成内容与输入图像本身关联较大，无论是风格转换，超分重建，模糊复原均是如此，用instance normalization效果更好
     更多数学理解后续再跟进，暂记录此粗浅理解