机器学习-XGBoost算法

1、集成算法中主要分为bagging算法与boosting算法

Bagging	Boosting
随机有放回的取样	每一轮训练的样本是固定的，改变的是买个样的权重
均匀取样，每个样本的权重相同	根据错误率调整样本权重，错误率越大的样本权重会变大
预测函数权值相同	误差越小的预测函数其权值越大
各个预测函数可以并行生成	各个预测函数必须按照顺序迭代生成

2、为什么XGBoot算法这么流行

• 运行速度快且效率及准确率较高
• 使用并行化计算
• 比其他算法强
• 可调节的参数多

3、部分参数含义

• max_depth:树的深度
• subsample:用多少个子样本去训练树
• colsample_bytree:构建每棵树需采用的特征数量
• n_estimators:树的数量
• gamma[默认0]：在节点分裂时，只有分裂后损失函数的值下降了，才会分裂这个节点。Gamma指定了节点分裂所需的最小损失函数下降值。 这个参数的值越大，算法越保守。这个参数的值和损失函数息息相关，所以是需要调整的
• alpha[默认1]：权重的L1正则化项。(和Lassoregression类似)。 可以应用在很高维度的情况下，使得算法的速度更快。
• lambda[默认1]：权重的L2正则化项。(和Ridgeregression类似)。 这个参数是用来控制XGBoost的正则化部分的。虽然大部分数据科学家很少用到这个参数，但是这个参数在减少过拟合上还是可以挖掘出更多用处的。
• objective[默认reg:linear]：这个参数定义需要被最小化的损失函数。最常用的值有：
  binary：logistic
  binary：logitraw