Boosting(Adaboost,GBDT,XGBoost)

---

自提升算法 Adaboost

------一种串行算法
输入：训练数据集 { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } \{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} { (x1​,y1​),(x2​,y2​),...,(xN​,yN​)}
①、初始化采样权重$D=w_{11},...,w_{1N}$,$w_{1i}=\frac{1}{N}$.
②、对每个弱分类器（$m=1,2,...,M$）,用$D_m$采样训练样本上，在训练数据上获得弱分类器$G_m(x)=\pm 1$。
③、计算加权错误率$e_m=p(G_m(x_i)!=y_i)={\sum }_{i=1}^N{w}_{mi}I(G_m(x)!=y_i)$,${\alpha }_m=\frac{1}{2}ln\frac{1-e_m}{e_m}$,识别器的权重。
④更新权重分布 D m + 1 = ( w m + 1 , 1 , . . . , w m + 1 , N ) , w m + 1 , i = w m , i Z m e x p { − α m y i G m ( x i ) } D_{m+1}=(w_{m+1,1},...,w_{m+1,N}),w_{m+1,i}=\frac{w_{m,i}}{Z_m} exp\{-\alpha_my_iG_m(x_i)\} Dm+1​=(wm+1,1​,...,wm+1,N​),wm+1,i​=Zm​wm,i​​exp{ −αm​yi​Gm​(xi​)}.