rectifier f(x)=max(0,x) softplus f(x)=ln(1+ex) softplus vs sigmoid f′(x)=ex1+ex=11+e−x 说明 softplus 是对 ReLU 的平滑逼近的解析函数形式。 References [1] Rectifier (neural networks)