RELU是分段线性函数，怎么实现非线性呢？

最新推荐文章于 2024-05-13 15:14:03 发布

fly103226

最新推荐文章于 2024-05-13 15:14:03 发布

阅读量1.1w

点赞数 14

分类专栏：深度学习

本文链接：https://blog.csdn.net/sinat_36161667/article/details/81878820

版权

2 篇文章 0 订阅

订阅专栏

ReLu虽然在大于0的区间是线性的，在小于等于0的部分也是线性的，但是它整体不是线性的，因为不是一条直线。多个线性操作的组合也是一个线性操作，没有非线性激活，就相当于只有一个超平面去划分空间。但是ReLu是非线性的，效果类似于划分和折叠空间，组合多个（线性操作 + ReLu）就可以任意的划分空间。
对于浅层的机器学习，比如经典的三层神经网络，用它作为激活函数的话，那表现出来的性质肯定是线性的。但是在深度学习里，少则几十，多则上千的隐藏层，虽然，单独的隐藏层是线性的，但是很多的隐藏层表现出来的就是非线性的。(参考：https://blog.csdn.net/tianguiyuyu/article/details/79875641)线性和非线性，举个简单的例子，一条曲线无限分段，每段就趋向直线，反过来，很多这样的直线就可以拟合曲线。类似，大规模的神经网络，包含很多这样的线性基本组件，自然也可以拟合复杂的非线性情况。
文章 “On the Number of Linear Regions of Deep Neural Networks”，能够形象的想象Relu如何构造很多的线形空间（类似于折叠的方式），逼近非线性方程。

关注