sigmod函数与ReLu函数笔录

sigmod缺点:
1 饱和神经元会杀死梯度,离中心越远的x处的导数接近于0,停止反向传播的学习过程
2 容易饱和,一直是正数0到1之间的数,以0.5为中心,求权重的梯度时,梯度总是正或者总是负
3 指数计算耗时
4层以内网络可以用sigmod

sigmod优点:
1 能够控制数值的幅度,在深层网络中可以保持数据幅度不会出现大的变化,而ReLu不会对数据的幅度做约束

sigmod函数可以发生梯度爆炸,当w很大的时候会发生梯度爆炸

S型函数都容易发生饱和,如sigmod和tanh(x)激活函数
tanh(x)=2sigmoid(2x)-1 值域(-1,1)
tanh函数是sigmod函数的平移和收缩

通过两个Relu神经元的线性叠加,构造squashing functions 挤压函数,限定范围在0,1之间,可以拟合任何非线性
Y(X)=max{0,x}-max{0,x-1}

relu存在三个问题:
1 会导致神经元的死亡,但可以给网络造成稀疏性
优化----->Leaky Relu(何凯明指出,初始系数a选择0.01, =max{ax,x})和Elu
Noisy ReLU 可以被扩展为高斯噪声:
f(x)=max(0,x+Y),Y~N(0,σ(x))

ReLU相比sigmoid和tanh的一个缺点是没有对上界设限.在实际使用
中,可以设置一个上限,如ReLU6经验函数: f(x)=min(6,max(0,x))

在GoogLeNet架构中,11卷积核的作用主要有以下几点:
1 通过添加inception模块加深网络;
2 降低inception模块内部唯独;
3 通过在每个11卷积核后就按ReLu,增加更多非线性