为什么激活函数都是非线性的

因为矩阵乘法具有合并性，即M1*M2*M3*Mn=P,而每一层网络的作用就相当于在前一步的基础上乘了一个权重矩阵(暂时忽略偏移量b,其实不忽略也行）

所以，在激活函数为线性的情况下，多层网络作用就等价于单层网络。此等价过程中，单层网络的权重矩阵就相当于多层网络中每一层权重的乘积。