1.Sigmoid 函数
2.ReLU函数
3.PReLU函数
ReLU PReLU
注意:
是指由每个上层神经元加权计算的到的值
是受PReLU作用的每一个神经元的参数,并参与BP时的修改。
Reference:https://arxiv.org/pdf/1502.01852.pdf
ReLU PReLU
注意:
是指由每个上层神经元加权计算的到的值
是受PReLU作用的每一个神经元的参数,并参与BP时的修改。
Reference:https://arxiv.org/pdf/1502.01852.pdf