机器学习中，什么是线性和非线性？

简单理解线性和非线性

对于函数y=f(x)线性就是在函数中对x增加一个数k，那么对于y来说也增加k。故线性函数相加减不会破坏其线性关系。相反的，非线性就是对于不符合线性关系的统一称之为非线性关系。在自然界中，万物之间皆有联系，非线性是普遍存在的，而线性关系则是非常特殊的。

什么是非线性

非线性(non-linear)，即 变量之间的数学关系，不是直线而是曲线、曲面、或不确定的属性，叫非线性。非线性是自然界复杂性的典型性质之一；与线性相比，非线性更接近客观事物性质本身，是量化研究认识复杂知识的重要方法之一；凡是能用非线性描述的关系，通称非线性关系。

狭义的非线性是指不按比例、不成直线的数量关系，无法用线性形式表现的数量关系，如曲线、曲面等。而广义上看，是自变量以特殊的形式变化而产生的不同于传统的映射关系，如迭代关系的函数，上一次演算的映射为下一次演算的自变量，显然这是无法用通常的线性函数描绘和形容的。很显然，自然界事物的变化规律不是像简单的函数图像，他们当中存在着并非一一对应的关系。如果说线性关系是互不相干的独立关系，那么非线性则是体现相互作用的关系，正是这种相互作用，使得整体不再是简单地全部等于部分之和，而可能出现不同于"线性叠加"的增益或亏损。

线性与非线性的区别

非线性是相对于线性而言的，是对线性的否定，线性是非线性的特例，所以要弄清非线性的概念，明确什么是非线性，首先必须明确什么是线性，其次对非线性的界定必须从数学表述和物理意义两个方面阐述，才能较完整地理解非线性的概念。

直观理解

线性等于齐次性加可加性。

齐次性：f(ax) =af(x)

可加性：f(a+b) =f(a) +f(b)

形象比喻

线性的意义就是 如果你有一个粉碎机

输入为 一张纸 和 一个人 和 一个桌子

输出就是纸屑 人的碎片 原木碎片混在一起的东西

而你分别把 纸 人 和桌子送进去

出来的也是纸屑 人的碎片 原木碎片

所以粉碎机是一个线性系统

非线性系统就是

人带着桌子从三楼掉下来，桌子碎了，人因为缓冲没死

而桌子单独下来可能不会碎，人单独下来可能会死

三楼的窗子就是非线性的

---

引用：https://zhuanlan.zhihu.com/p/393260782， https://www.zhihu.com/question/285084082