神经网络激活函数的意义

看这个视频，突然领悟到 激活函数物理意义，其实就是让一团数据，某个线性变换后，做一个揉捻的动作。然后所有数据可以有序的映射到1维空间。比如relu 就是把小于0的捏平。为什么要捏平呢 ， 可能数据有很多凸起， 或者蘑菇状态的凸起，只有把这些凸起按下去，才能减少数据之间投影后的相互遮挡。当然可能需要不停的线性变换，把一些错误的突起部分压平，再做线性变换把另一些突起压平。最后数据团分布在了一个有序的空间里。