机器学习基础算法23-XGBoost实践

1.XGBoost简介

2.Kaggle简介

Kaggle是一个数据分析的竞赛平台，网址为：https://www.kaggle.com/

3.数据预处理-清洗

特征：重要性高，缺失率低
策略：通过计算进行补充；通过经验或业务知识估计

特征：重要性高，缺失率高
策略：尝试从其他渠道取书补全；使用其他字段通过数字获取；去除字段，并在字段中标明

特征：重要性低，缺失率低
策略：不做处理或简单填充

特征：重要性低，缺失率高
策略：去除该字段

4.案例部分

1）判断蘑菇是否有毒-二分类

# 判断蘑菇是否有毒-二分类
import xgboost as xgb


# 1、xgBoost的基本使用
# 2、binary:logistic/logitraw



if __name__ == "__main__":
    # 读取数据,使用XGBoost中的数据结构DMatrix；XGBoost可以加载libsvm格式的文本数据，格式为稀疏特征
    data_train = xgb.DMatrix('agaricus_train.txt')
    data_test = xgb.DMatrix('agaricus_test.txt')
    print(data_train)       # <xgboost.core.DMatrix object at 0x000001C5C38ACBA8>
    print(type(data_train)) # <class 'xgboost.core.DMatrix'>

    # 设置参数
    # 'max_depth': 3表示每一棵树的最大深度是3
    # 'eta': 1表示衰减因子为1，即为原始模型，没有防止过拟合
    # 'silent': 1输出生成树的过程，表示输出值不要输出过多的信息；=0时，可以输出过多信息
    # 'objective': 'binary:logistic'这个问题本质上是二分类问题，故可以使用logistic回归
    param = {
   'max_depth': 3, 'eta': 1, 'silent': 1, 'objective': 'binary:logistic'}
    # param = {'max_depth': 3, 'eta': 0.3, 'silent': 1, 'objective': 'reg:logistic'}
    watchlist = [(data_test, 'eval'), (data_train, 'train')]

    # 迭代7轮，得到7棵树
    n_round = 7
    # 相当于之前的fit
    # 参数设置
    # param是一个字典，里面包含着训练中的参数关键字和对应的值
    # data_train是训练数据
    # num_boost_round 是指提升迭代的个数
    # evals是一个列表，用于对训练过程中进行评估列表中的元素，形式是evals = [(dtrain,’train’),(dval,’val’)]
    # 它使得我们可以在训练过程中观察验证集的效果
    # obj表示自定义损失函数
    # feval表示自定义评估函数-错误率
    bst = xgb.train(param, data_train, num_boost_round=n_round, evals=watchlist)

    # 计算错误率
    y_hat = bst.predict(data_test)
    y = data_test.get_label()
    print(y_hat)
    print(y)
    error = sum(y != (y_hat > 0.5))
    error_rate = float(error) / len(y_hat)
    print('样本总数：\t', len(y_hat))
    print('错误数目：\t%4d' % error)
    print('错误率：\t%.5f%%' % (100*error_rate))

[0]	eval-error:0.01614	train-error:0.01443
[1]	eval-error:0.00000	train-error:0.00123
[2]	eval-error:0.00000	train-error:0.00000
[3]	eval-error:0.00000	train-error:0.00000
[4]	eval-error:0.00000	train-error:0.00000
[5]	eval-error:0.00000	train-error:0.00000
[6]	eval-error:0.00000	train-error:0.00000
[0.0013066  0.9952118  0.0013066  ... 0.99917597 0.00155224 0.998858  ]
[0. 1. 0. ... 1. 0. 1.]
样本总数：	 1611
错误数目：	   0
错误率：	0.00000%

2）判断蘑菇是否有毒-手动读取数据

import numpy as np
import scipy.sparse
# 判断蘑菇是否有毒---手动读取数据
import xgboost as xgb
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
from sklearn.model_selection import train_test_split


# 手动读取数据
def read_data(path):
    y = []  # 标签值
    row = []  # 存储相应的行
    col = []  # 存储相应的列
    values = []  # 存储相应的值,row,col,values的值一一对应
    r = 0  # 首行
    for d in open(path):
        # 以空格分开
        d = d.strip().split()
        # 第0列给y
        y.append(int(d[0]))
        # 第一列后面的数都给d
        d = d[1:]
        # 遍历每一个d
        for c in d:
            # 以':'进行拆分,前面的是key,后面的是value
            key, value = c.split(':')
            # 对应的第几行放入 row中
            row.append(r)
            # 列中加入相应的key
            col.append(int(key))
            # 添加相应的值
            values.append(float(value))
        # 一行处理完r加1
        r += 1
    # 创建稀疏矩阵,(row,col)的位置赋值成相应的值
    x = scipy.sparse.csr_matrix((values, (row, col))).toarray()
    y = np.array(y)
    return x, y


if __name__ == '__main__':
    x, y = read_data('agaricus_train.txt')
    x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=1, train_size=0.6)

    # Logistic回归
    lr = LogisticRegression(penalty='l2')
    lr.fit(x_train, y_train.ravel())
    y_hat = lr.predict(x_test)
    print('Logistic回归正确率：', accuracy_score(y_test, y_hat))

    # XGBoost
    data_train = xgb.DMatrix(x_train, label=y_train)
    data_test = xgb.DMatrix(x_test, label=y_test)
    watch_list = [(data_test, 'eval'), (data_train, 'train')]
    param = {
   'max_depth': 3, 'eta': 1, 'silent': 0, 'objective': 'multi:softmax', 'num_class': 3}
    bst = xgb.train(param, data_train, num_boost_round=4, evals=watch_list)
    y_hat = bst.predict(data_test)
    print('XGBoost正确率：', accuracy_score(y_test, y_hat))

Logistic回归正确率： 1.0
[0]	eval-merror:0.03569	train-merror:0.04070
[1]	eval-merror:0.00729	train-merror:0.00998
[2]	eval-merror:0.00077	train-merror:0.00051
[3]	eval-merror:0.00077	train-merror:0.00051
XGBoost正确率： 0.9992325402916347

3）鸢尾花数据集-多分类

# 鸢尾花数据分类-多分类
import numpy as np
import pandas as pd
import xgboost as xgb
from sklearn.model_selection import train_test_split   # cross_validation
from sklearn.linear_model import LogisticRegressionCV
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score

def iris_type(s):
    it = {
   'Iris-setosa': 0, 'Iris-versicolor': 1, 'Iris-virginica': 2}
    return it[s]

if __name__ == "__main__":

    path = u'iris.data'  # 数据文件路径
    # data = np.loadtxt(path, dtype=float, delimiter=',', converters={4: iris_type})
    data = pd.read_csv(path, header=None)
    # print(data)
    # 特征值与目标值
    x, y = data[range(4)], data[4]
    # y本质上是字符串，转变成类别数据后，再转换成编码012
    y = pd.Categorical(y).codes
    # print(y)
    # 数据集的分割-训练集与测试集
    x_train, x_test, y_train, y_test = train_test_split(x,