援引:https://blog.csdn.net/u011754972/article/details/81584719
leakyrelu的理解:
https://blog.csdn.net/tyhj_sf/article/details/79932893
其实relu不发挥作用主要是在relu的输入为负数的情况下,relu前向传播都是0,反向传播也是0,。
援引:https://blog.csdn.net/u011754972/article/details/81584719
leakyrelu的理解:
https://blog.csdn.net/tyhj_sf/article/details/79932893
其实relu不发挥作用主要是在relu的输入为负数的情况下,relu前向传播都是0,反向传播也是0,。