线性模型和非线性模型的区别

线性模型和非线性模型的区别

按照周志华西瓜书的回答：线性模型试图学的一个通过属性的线性组合来进行预测的函数，即$$f(x)=w_1{x}_1+w_2{x}_2+...+w_d{x}_d+b$$的函数，这个函数中的 $x_i$ 代表的就是属性，说明线性模型并不是说模型的函数代表的是一条直线，同理，非线性模型也不是说模型函数代表的是一条曲线。如果模型的函数是属性的非线性组合的话，比如$$f(x)=w_1{x}_1+{\mathbf{w}}_2{\mathbf{x}}_1{\mathbf{x}}_2+...+w_d{x}_d+b$$中存在${\mathbf{w}}_2{\mathbf{x}}_1{\mathbf{x}}_2$项，这是属性的非线性组合。所以这个函数代表的模型是非线性模型。

同理，按照西瓜书的定义，线性回归是试图学得一个线性模型以尽可能准确地预测实值输出标记。说明线性回归是试图学的一个线性模型，说明线性这个词的理解也是指属性的线性组合。

那么非线性模型是什么呢，我的理解是线性模型的堆叠就可以构成非线性模型。比如多层感知机、深度神经网络等都满足上面的非线性模型的定义。当然还有一个易混的点是：线性模型是能够反应非线性关系的，这个非线性关系就是指的直线和曲线的区别了，比如加激活函数就可以让原本的线性关系变成非线性关系，或者增强原本的非线性关系。