机器学习（xgboost）

一、XGBoost是使用梯度提升框架实现的高效、灵活、可移植的机器学习库，全称是eXtreme Gradient Boosting，是GBDT（GBM）的一个C++实现，它将树的生成并行完成，从而提高学习速度。
二、XGBoost与GDBT的区别
1.XGBoost生成CART树考虑了树的复杂度，GDBT未考虑，GDBT在树的剪枝步骤中考虑了树的复杂度。
2. XGBoost是拟合上一轮损失函数的二阶导展开，GDBT是拟合上一轮损失函数的一阶导展开，因此，XGBoost的准确性更高，且满足相同的训练效果，需要的迭代次数更少。
3. XGBoost与GDBT都是逐次迭代来提高模型性能，但是XGBoost在选取最佳切分点时可以开启多线程进行，大大提高了运行速度。
三、XGBoost的原理
https://baijiahao.baidu.com/s?id=1620689507114988717&wfr=spider&for=pc
四、python API
1.安装xgboost
安装：先在网址https://www.lfd.uci.edu/~gohlke/pythonlibs/#xgboost 中下载whl文件，注意一定要下载跟自己当前安装Python版本一致的whl文件

2.代码：

import pandas as pd
from xgboost import XGBClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

if __name__ == "__main__":
    path = u'.\\dataset\learn\\iris.data'  # 数据文件路径
    data = pd.read_csv(path, header=None)
    x = data[range(4)]
    y = data[4]
    y = pd.Categorical(y).codes
    x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=1, train_size=50)
    model = XGBClassifier().fit(x_train, y_train)

    y_predict = model.predict(x_test)

    accuracyscore = accuracy_score(y_test, y_predict)
    print(accuracyscore)
    ```
    3.优化
    API 接口中的参数：
    https://blog.csdn.net/han_xiaoyang/article/details/52665396