线性模型和非线性模型的区别

在机器学习的回归问题中，线性模型和非线性模型都可以去对曲线进行建模，那么线性模型和非线性模型有什么区别呢？

其实，线性模型和非线性模型的区别并不在于能不能去拟合曲线。下面我们来详细介绍一下它们两个的区别。

线性回归的等式

线性回归需要一个线性的模型。这到底意味着什么呢？

一个模型如果是线性的，就意味着它的参数项要么是常数，要么是原参数和要预测的特征之间的乘积加和就是我们要预测的值。

Response = constant + parameter * predictior1 + ... + parameter * predictior2

下是个典型的线性模型：

$$Y = b + w_1x_1 + w_2x_2 + ... + w_kx_k$$

在统计意义上，如果一个回归等式是线性的，那么它的相对于参数就必须也是线性的。如果相对于参数是线性，那么即使性对于样本变量的特征是二次方或者多次方，这个回归模型也是线性的 (例如下面的公式)。

$$Y = b + w_1x_1 + w_2x_2^2$$

你甚至可以使用 log 或者指数去形式化特征

$$Y = b + w_1e^{-x_1} + w_2e^{-x_2}$$

非线性回归的等式

最简单的判断一个模型是不是非线性，就是关注非线性本身，判断它的参数是不是非线性的。非线性有很多种形象，这也是为什么非线性模型能够那么好的拟合那些曲折的函数曲线的原因。比如下面这个：

$$Y = \theta_1 \ast x^{\theta_2}$$

$$Y = \theta_1 + (\theta_3 - \theta_2) \ast e^{- \theta_4 X}$$

与线性模型不一样的是，这些非线性模型的特征因子对应的参数不止一个。