集成学习
1.目的:让机器学习效果更好,单个不行,群殴走起。
2.集成学习分类
Bagging:训练多个分类器取平均 f ( x ) = 1 M ∑ m = 1 M f m ( x ) f\left( x \right)=\frac{1}{M}\sum\limits_{m=1}^{M}{
{
{f}_{m}}\left( x \right)} f(x)=M1m=1∑Mfm(x)。
Boosting:从弱学习器开始加强,通过加权来进行训练。 F m ( x ) = F m − 1 ( x ) + arg min h ∑ i = 1 n L ( y i , F m − 1 ( x i ) + h ( x i ) ) {
{F}_{m}}\left( x \right)={
{F}_{m-1}}\left( x \right)+\arg {
{\min }_{h}}\sum\limits_{i=1}^{n}{L\left( {
{y}_{i}},{
{F}_{m-1}}\left( {
{x}_{i}} \right)+h\l