本人使用windows系统下的anocaonda的版本为Anaconda2-4.0.0-Windows-x86_64.exe,自带python版本python2.7.13。
通过conda install py-xgboost命令就可以进行安装
通过conda list命令我们可以查看安装的所有库。
然后直接运行下面的测试例子用出错,
*找不到要加载的dll库,这时候我们需要重要的一步就是配置F:\anaconda\install\Library\mingw-w64\bin
环境变量到path中,然后就可以正常运行*
# !/usr/bin/python
# -*- encoding:utf-8 -*-
import xgboost as xgb
import numpy as np
from sklearn.tree import DecisionTreeClassifier
# 1、xgBoost的基本使用
# 2、自定义损失函数的梯度和二阶导
# 3、binary:logistic/logitraw
# 定义f: theta * x
def g_h(y_hat, y):
p = 1.0 / (1.0 + np.exp(-y_hat))# 看着像sigmoid函数啊
g = p - y.get_label()
h = p * (1.0-p)#sigmoid函数的导数
return g, h
def error_rate(y_hat, y):
return 'error', float(sum(y.get_label() != (y_hat > 0.5))) / len(y_hat)
if __name__ == "__main__":
# 读取数据
data_train = xgb.DMatrix('train.txt')
data_test = xgb.DMatrix('test.txt')
print data_train
print type(data_train)
# 设置参数
# eta:为了防止过拟合,更新过程中用到的收缩步长。在每次提升计算之后,算法会直接获得新特征的权重。 eta通过缩减特征的权重使提升计算过程更加保守。缺省值为0.3,取值范围为:[0,1],通常最后设置eta为0.01~0.2
#silent:取0时表示打印出运行时信息,取1时表示以缄默方式运行,不打印运行时的信息。缺省值为0
#objective:目标函数reg:linear reg:logistic binary:logistic binary:logitraw等
#evals:如果有评价数据,可以提前终止程序,这样可以找到最优的迭代次数。如果要提前终止程序必须至少有一个评价数据在参数evals中
param = {'max_depth': 3, 'eta': 1, 'silent': 1, 'objective': 'binary:logistic'} # logitraw
# param = {'max_depth': 3, 'eta': 0.3, 'silent': 1, 'objective': 'reg:logistic'}
watchlist = [(data_test, 'eval'), (data_train, 'train')]
n_round = 7
# bst = xgb.train(param, data_train, num_boost_round=n_round, evals=watchlist)
bst = xgb.train(param, data_train, num_boost_round=n_round, evals=watchlist, obj=g_h, feval=error_rate)
# 计算错误率
y_hat = bst.predict(data_test)
y = data_test.get_label()
print y_hat
print y
error = sum(y != (y_hat > 0.5))
error_rate = float(error) / len(y_hat)
print '样本总数:\t', len(y_hat)
print '错误数目:\t%4d' % error
print '错误率:\t%.5f%%' % (100*error_rate)