线性分类器和非线性分类器

***********************线性和非线性的区别********************************

1. 线性linear，指量与量之间按比例、成直线的关系，在数学上可以理解为一阶导数为常数的函数；
   非线性non-linear则指不按比例、不成直线的关系，一阶导数不为常数。


2. 线性的可以认为是1次曲线，比如y=ax+b ,即成一条直线
   非线性的可以认为是2次以上的曲线，比如y=ax^2+bx+c，(x^2是x的2次方)，即不为直线的即可


3. 两个变量之间的关系是一次函数关系的——图象是直线，这样的两个变量之间的关系就是“线性关系”；
   如果不是一次函数关系的——图象不是直线，就是“非线性关系


4. “线性”与“非线性”，常用于区别函数y = f (x)对自变量x的依赖关系。线性函数即一次函数，其图像为一条直线。其它函数则为非线性函数，其图像不是直线。
　　线性，指量与量之间按比例、成直线的关系，在空间和时间上代表规则和光滑的运动；而非线性则指不按比例、不成直线的关系，代表不规则的运动和突变。 
　　比如，普通的电阻是线性元件，电阻R两端的电压U，与流过的电流I，呈线性关系，即R=U/I，R是一个定数。二极管的正向特性，就是一个典型的非线性关系，二极管两端的电压u，与流过的电流i不是一个固定的比值，即二极管的正向电阻值，是随不同的工作点(u、i)而不同的。


5. 在数学上，线性关系是指自变量x与因变量yo之间可以表示成y=ax+b ,（a,b为常数），即说x与y之间成线性关系。
   不能表示成y=ax+b ,（a,b为常数），即非线性关系，非线性关系可以是二次，三次等函数关系，也可能是没有关系。

******************************线性分类器和非线性分类器*****************************************

线性分类器：模型是参数的线性函数，分类平面是（超）平面；
非线性分类器：模型分界面可以是曲面或者超平面的组合。
典型的线性分类器有感知机，LDA，逻辑斯特回归，SVM（线性核）；
典型的非线性分类器有朴素贝叶斯（有文章说这个本质是线性的，http://dataunion.org/12344.html），kNN，决策树，SVM（非线性核）