机器学习中的线性和非线性判断

说到线性和非线性，你的直观理解是不是这样：

但这种直观理解其实不能回答下面这个问题：
那么为什么卷积操作是线性的，而ReLU是非线性的？

很多人对线性的定义不是很清楚。
实际上，线性的定义是：
F(ax+y) = aF(x) + F(y)，
其中x、y为变量而a为常数。

卷积操作满足上面的式子，所以是线性操作。

下面可以快速判断是为非线性的三种常见情况：

• (变量)^n，且n不为1
• |变量| 有变量在绝对值內的为非线性
• sgn(变量) 有变量在符号函数之内

而ReLU如下所示：

所以，很明显ReLU是非线性的。