【机器学习

bagging   强分类器均和

adaboosting  弱分类器已经提前训练好了

bagging)
减少方差
偏差没有改变
平行线
希望最小化集合元素之间的相关性
boosting
减少偏见
增加方差
顺序
集成元素之间的高度依赖性

svm is the optimised perceptron

首先不要直观理解线性可分就一定要是一条直线，线性可分指的是可以用一个线性函数将两类样本分开,线性不可分指的就是部分样本用线性分类面。数学里，一般说的线性，是说的线性映射，这是一个函数（或称为映射，function or map），而不是方程(equation)。这个映射要同时满足两个条件：1，可加性 f(x + y) = f(x) + f(y) 2，齐次性（同质性） f(αx) = αf(x)也有用 叠加特性：f(ax+by)=af(x)+bf(y) 合起来表示的。

因而bagging中的模型是强模型，bias小，variance大。使用bagging，目标是降低variance。为了减小模型的bias，我们可以使用boosting的方法（如adaBoost，GBDT，XGBoost)。Boosting中的模型是弱模型（比随机猜测好一点），bias大，variance小。

bias & variance
低偏差低方差   正确拟合的模型
高偏差低方差   欠拟合
低偏差高方差   过拟合
高方差高偏差  数据集完全来乱，没有规律