线性与非线性的区分

先来2个博客镇博：

1、线性模型和非线性模型的区别，以及激活函数的作用：

https://www.cnblogs.com/toone/p/8574294.html

这篇博客说的是：

a、线性模型可以是用曲线拟合样本，但是分类的决策边界一定是直线的。

b.、区分是否为线性模型，主要是看一个乘法式子中自变量x前的系数w,如果w只影响一个x，那么此模型为线性模型。

对于b有疑问：

疑问1、

y=θ1*x^2+θ2*x+2是线性还是非线性？可以看出来，对于参数θ，模型是线性的，但是对于输入x是非线性的。

如果从分类的决策边界是否是直线来判断，则y=θ1*x^2+θ2*x+2是非线性的，因为它的判决边界是曲线，但是从2的观点来看：符合

Response = constant + parameter * predictior1 + ... + parameter * predictior2

就是线性模型，则又与“y=θ1*x^2+θ2*x+2”是非线性的说法有冲突，有冲突的原因是到底x^2与x的关系，或许没有冲突，因为y=θ1*x^2+θ2*x+2可以化简为y=θ1*（x+（θ2/(2*θ1)））^2-a的形式，则x即受θ1影响，也受θ2影响，则就没有冲突了。

疑问2、

如果模型改为：y=θ1*x+θ2*（2*x），这个模型是线性的还是非线性的？

我的理解：

这个模型依然是线性的，虽然自变量x与θ1和θ2都有关系，但是整理之后：y=（θ1+2*θ2）*x，可以看出来θ1和θ2是线性关系，那为什么疑问1里确实非线性关系呢？是因为疑问1里：θ1和θ2不是线性关系。

疑问3、

这个模型：，是线性还是非线性？

我的理解：

这个模型依然是线性的，可以把x_2^2看成一个变量x_3，那么w1影响x1，w2影响x3，该模型反映在坐标轴上就是3维的，判决边界是平面，模型的样子可以脑补。

2、线性模型和非线性模型的区别：

https://segmentfault.com/a/1190000009596712

这篇博客说的是：

判断模型是不是线性模型，就是根据参数与自变量的关系。

对1、2观点的反对声音：

https://blog.csdn.net/lipengcn/article/details/80724088

对1、2观点支持的声音：

https://statisticsbyjim.com/regression/difference-between-linear-nonlinear-regression-models/

https://blog.csdn.net/Libo_Learner/article/details/84144757

我支持1、2.

复述：

线性和非线性，在于参数θ，而不是在于自变量。

线性只有一种表达方式，除此之外都是非线性：

a、有个常量

b、每个θ对应一个自变量。

不满足线性的表达方式的都是非线性。

线性用等式来表述的例子：

 

，其中x_2即使变为x_1，该式子也是线性的。

稍加灵活点，就是非线性的，所以非线性的表示很多，所以非线性的表达能力强，例如：

Power:

Weibull growth:

Fourier:

一些疑问：

1、神经网络，如果没有激活函数的存在，那么它是非线性的吗？

问题来源：https://blog.csdn.net/wbcnb/article/details/78306970

比如“但是神经网络，每个神经元如果都是线性神经元，那么最终网络可以表示成f(x) = W3(W2(W1x)))这种模式，这样的神经网络是非线性的？？？”

我的思考：

之前做深度学习相关时候，认为神经网络是因为加了非线性变换（激活函数）之后，才能处理非线性问题。

现在看来不全是，神经网络的非线性处理能力部分来自于层的叠加，但是这种能力相当有限，其实是多个线性模型的组合，：

比如：f(x) = W3(W2(W1x)))   ，x受w1,w2，w3的影响，但是w1,w2，w3之间是线性关系，本质上还是线性模型，但是它就像是用多个直线去拟合曲线，比如w1*x会得到对f(x)的一个拟合，但是外层的w2会对上个拟合结果进行调整：w2*（w1*x），该调整还是线性的，然后最外层的w3也会对上一个拟合结果进行调整：w3*（w2*（w1*x）），该调整还是线性的，如果参数是无穷多的话，那么可以对w1*x这个直线进行无数次调整，使其拟合目标数据。

问题是：不可能有无数个参数，所以需要激活函数：

详细解释：

https://blog.csdn.net/qq_32742009/article/details/81384837

由于简单的叠加层，并不能处理非线性问题，所以需要加入激活函数，当加入激活函数之后，自变量与因变量之间的关系不再是比例关系，也就是非线性关系，那么随自变量的变换，因变量不再是等比例的变化，反映在曲线拟合上就是更加具有弹性（可弯曲性），也就是更能拟合复杂的曲线。可以参考sigmoid函数的曲线。

总结：

1、判断一个模型是线性的，根据是：

影响一个自变量的参数（可能是多个）之间是不是线性关系。

2、线性模型的决策边界不能仅仅是（或者称作）直线，应该称作超平面（直线也是超平面的一个特例）），可以参考svm中的分离超平面。

欢迎探讨。