Why ReLU

Link

1. $x>0$部分梯度恒为1，可以防止梯度消失
2. $x<0$部分激活值恒为0，给网络带来稀疏性和正则化效果。而稀疏表示相比于稠密表示，使用了更少的参数来得到一个更简单，更具解释性的模型。

   稀疏表示(sparse representation），即用较少的基本信号的线性组合来表达大部分或者全部的原始信号。