看这个视频,突然领悟到 激活函数物理意义,其实就是让一团数据,某个线性变换后,做一个揉捻的动作。然后所有数据可以有序的映射到1维空间。比如relu 就是把小于0的捏平。为什么要捏平呢 , 可能数据有很多凸起, 或者蘑菇状态的凸起,只有把这些凸起按下去,才能减少数据之间投影后的相互遮挡。当然可能需要不停的线性变换,把一些错误的突起部分压平,再做线性变换把另一些突起压平。最后数据团分布在了一个有序的空间里。
神经网络激活函数的意义
最新推荐文章于 2023-10-26 16:57:18 发布
看这个视频,突然领悟到 激活函数物理意义,其实就是让一团数据,某个线性变换后,做一个揉捻的动作。然后所有数据可以有序的映射到1维空间。比如relu 就是把小于0的捏平。为什么要捏平呢 , 可能数据有很多凸起, 或者蘑菇状态的凸起,只有把这些凸起按下去,才能减少数据之间投影后的相互遮挡。当然可能需要不停的线性变换,把一些错误的突起部分压平,再做线性变换把另一些突起压平。最后数据团分布在了一个有序的空间里。