DropConnect与Dropout区别

训练神经网络过程中，过拟合常常出现

为了避免出现过拟合
Hinton提出使用Dropout层来减少过拟合

Dropout就是将某些神经网络的隐层单元的输出设置为0
从而反向传播的时候不会进行参数的更新

现在很多机器学习框架已经帮我们实现好了Dropout层了
我们只需传入保留率，这是一个数值在0-1的超参数
就可以实现Dropout

DropConnect

而DropConnect它丢弃掉的是神经元与神经元之间的连接，可能这个神经元与那个神经元连接被丢弃，但它依旧是有之前计算出来的输出的
下面我们来看一段Keras实现DropConnect的代码

class DropConnect(layers.Layer):

    def __init__(self, drop_connect_rate=0., **kwargs):
        super(DropConnect, self).__init__(**kwargs)
        self.drop_connect_rate = float(drop_connect_rate)

    def call(self, inputs, training=None):

        def drop_connect():
            keep_prob = 1.0 - self.drop_connect_rate

            # Compute drop_connect tensor
            batch_size = tf.shape(inputs)[0]
            random_tensor = keep_prob
            random_tensor += K.random_uniform([batch_size, 1, 1, 1], dtype=inputs.dtype)
            binary_tensor = tf.floor(random_tensor)
            output = (inputs / keep_prob) * binary_tensor
            return output

        return K.in_train_phase(drop_connect, inputs, training=training)

首先我们传入keep_prob保留率
然后使用random_uniform产生一个维度为[batch_size, 1, 1, 1]的随机张量
binary_tensor使用tf.floor向下取整
因此binary_tensor中有0有1
0对应的就去除掉了神经元的连接
output首先让inputs除以保留率，也就是拉伸，然后再乘binary_tensor

K_in_train_phase()是一个Keras后端函数
当是训练模式返回第一个，也就是我们的drop connect
当不是训练模式的时候直接放回我们的输入inputs

因为训练过程中为了避免过拟合，都是开启DropConnect
而测试过程中，我们并不使用Drop丢弃法