理解激活函数

激活函数必须是非线性的，如sigmoid ——s(x)=1/(1+e^(-x))
这样才能使神经网络中多加的层有效，
例：
如果是线性的H(x)=cx,多加层之后是y(x)=h(h(h(x)))=ccc*x，是可以用y=c^3x来代表的，这样是没有意义的。
所以，为了发挥出多层网络所带来的优势，激活函数就必须是线性函数。