深度学习 BN 、LeakyReLU算法原理

BN和LeakyReLU

def DarknetConv2D_BN_Leaky(*args, **kwargs):
    # 归一化
    # DarkNet中用到的卷积块，卷积块中包含了归一化和激活函数
    """Darknet Convolution2D followed by BatchNormalization and LeakyReLU."""
    no_bias_kwargs = {
   'use_bias': False}
    no_bias_kwargs.update(kwargs)
    return compose(
        DarknetConv2D(*args, **no_bias_kwargs),
        BatchNormalization(),
        LeakyReLU(alpha=0.1))

以yolov3中DarkNet网络的这段代码为例，细说网络中的具体结构
该卷积块中包含三个内容：二维卷积操作（DarknetConv2D）、归一化（BatchNormalization）、非线性激活函数（LeakyReLU）。

• 背景（为什么会提出这种方法）
• 原理（理解的基础上说明大概步骤）
• 举例（简单介绍主流的方法）

就以上三个方面对BN的理解

1、BN