weixin_41395763的博客

1、引言在XGBoost基本原理博文中我们介绍了XGBoost的基本原理，本篇博文我们将介绍XGBoost的基本使用方法，作为新手的学习参考。本文使用kaggle上的泰坦尼克数据集，只是对XGBoost的使用做一个简单的描述，若想知道Kaggle的整个竞赛流程以及在竞赛中如何使用XGBoost进行预测的话，关注本博客，以后会陆续推出与竞赛内容相关的博客及代码。kaggle的泰坦尼克的数据集分为训练数据和测试数据，测试数据与训练数据的区别在于测试数据缺少‘survival’列，即为我们需要预测的列，数

1. GBDT算法原理XGBoost实现的是一种通用的Tree Boosting算法，此算法的一个代表为梯度提升决策树（Gradient Boosting Decision Tree, GBDT）GBDT的原理是:>首先使用训练集和样本真值（即标准答案）训练一棵树，然后使用这棵树预测训练集，得到每个样本的预测值，由于预测值与真值存在偏差，所以二者相减可以得到“残差”。>接下来训练第二棵树，此时不再使用真值，而是使用残差作为标准答案。两棵树训练完成后，可以再次得到每个样本的残差，然

1. 解释一下GBDT算法的过程GBDT(Gradient Boosting Decision Tree)，全名叫梯度提升决策树，使用的是Boosting的思想。1.1 Boosting思想Boosting方法训练基分类器时采用串行的方式，各个基分类器之间有依赖。它的基本思路是将基分类器层层叠加，每一层在训练的时候，对前一层基分类器分错的样本，给予更高的权重。测试时，根据各层分类器的结果的加权得到最终结果。Bagging与Boosting的串行训练方式不同，Bagging方法在训练过程中，各

分类树与回归树分类树用于分类问题。分类决策树在选取划分点，用信息熵、信息增益、或者信息增益率、或者基尼系数为标准。Classification tree analysis is when the predicted outcome is the class to which the data belongs.回归决策树用于处理输出为连续型的数据。回归决策树在选取划分点，就希望划分的两个分支的误差越小越好。Regression tree analysis is when the predicte

集成学习集成学习什么是集成学习 弱学习和强学习 集成学习有效的前提 集成学习分类 AdaBoost什么是集成学习所谓集成学习简单理解就是指采用多个分类器对数据集进行预测，从而提高整体分类器的泛化能力。弱学习和强学习准确率仅比随机猜测略高的学习算法称为弱学习算法;识别准确率很高并能在多项式时间内完成的学习算法称为强学习算法。集成学习有效的前提1.分类器的精度，每个弱分类器的分类精度必须大于0.5。2.弱分类器之间应该具有差异性，否则集成效果不是很好

决策树1.决策树与随机森林都属于机器学习中监督学习的范畴，主要用于分类问题。决策树算法有这几种：ID3、C4.5、CART，基于决策树的算法有bagging、随机森林、GBDT等。决策树是一种利用树形结构进行决策的算法，对于样本数据根据已知条件或叫特征进行分叉，最终建立一棵树，树的叶子结节标识最终决策。新来的数据便可以根据这棵树进行判断。随机森林是一种通过多棵决策树进行优化决策的算法。...

决策树学习与总结 （ID3, C4.5, C5.0, CART）1. 什么是决策树2. 决策树介绍3. ID3 算法 信息熵 信息增益 缺点4. C4.5算法5. C5.0算法6. CART算法 基尼指数 Gini指标7. 连续属性离散化8. 过拟合的解决方案9. 例子1 - 脊椎动物分类10. 例子2 1. 准备数据及读取 2. 决策树的特征向量化 3. 决策树训练 4. 决策树可视化 5 预测结果...

逻辑回归（Logistic Regression）是机器学习中的一种分类模型，逻辑回归是一种分类方法，虽然名字中带有回归，但是它与回归之间有一定的联系。由于算法的简单和高效，在实际应用中非常广泛。1、逻辑回归的应用场景>广告点击率>是否为垃圾邮件>是否患病>金融诈骗>虚假账号看到上面的例子，我们可以发现其中的特点，那就是属于两个类别之间的判断。逻辑回归就是解决二分类问题的利器。2、逻辑回归的原理想要掌握逻辑回归就必须要掌握两点：逻辑回

回归分析是用来评估变量之间关系的统计过程。用来解释自变量X与因变量Y的关系。即当自变量X发生改变时，因变量Y会如何发生改变。线性回归是回归分析的一种，评估的自变量X与因变量Y之间是一种线性关系，当只有一个自变量时，成为简单线性回归，当具有多个变量时，称为多元线性回归。线性关系的理解：>画出来的图像是直的（简单线性回归是直线，多元线性回归是超平面）>每个自变量的最高次项为1拟合是指构建一种算法，使得该算法能够符合真实的数据。从机器学习角度讲，线性回归就是要构建一个线性函