XGBoost实现门店销售额预测小白入门demo

一、xgboost扩展包安装
1、官网下载xgboost扩展包:
   Python Extension Packages for Windows下载对应版本，win64，python3.6
   https://download.lfd.uci.edu/pythonlibs/rqr3k8is/xgboost-0.7-cp36-cp36m-win_amd64.whl
   (https://www.lfd.uci.edu/~gohlke/pythonlibs/#xgboost 扩展包目录)
2、使用pip命令安装:
   在python脚本目录下执行pip命令（本人为: cd D:\work\ide\Anaconda3\Scripts）
   pip install D:\study\ai\7v\packages\xgboost-0.7-cp36-cp36m-win_amd64.whl
二、业务数据准备
1、分析业务场景中可能影响到门店日销售额的所有特征:
   本demo使用的特征包含以下内容：周几、几号、是否节假日、前3天平均、前7天平均、前30天平均、前90天平均、
   上周同天、上个月同天、3个月前同天、6个月同天（实际情况可能还需要更多的特征，但是运行demo已经足够了）
2、对确定的特征数据进行提取，本demo数据统计使用的是spark计算框架，只要拿到特征源数据即可。
三、建立模型
1、特征数据转换:
   将业务数据中取值可以简单枚举的字段转换成包含1个1其它均为0的list（如:星期一为1,0,0,0,0,0,0）
#将数字转为list 如 星期一，只需要传入7,1就会返回  1,0,0,0,0,0,0  one-hot
def number2list(max_num,num):
    return_list = []
    day = int(num)
    for i in range(1, max_num + 1):
        if i == day: return_list.append(1)
        else:return_list.append(0)
    return return_list
2、使用特征数据建立模型
    # 1、读取特征和目标
    print(time() + '-读取特征和目标开始')
    train_and_valid, test = pd.read_csv(tv_features), pd.read_csv(test_features)
    print(time() + '-读取特征和目标开始完成,数据形状:',train_and_valid.shape)
    # 2、获取训练、验证、测试的特征和目标（为了减少代码运行时间，方便测试）
    # 2-1、取训练、验证、测试数据子集
    # 训练、验证（0.99:0.01）
    train,valid = cross_validation.train_test_split(train_and_valid,test_size=0.01,random_state=10)
    # 2-2、解析训练、验证、测试数据的特征和目标
    train_feature,train_target = parse_features_target('-训练数据:',train)
    valid_feature,valid_target = parse_features_target('-验证数据:',valid)
    test_feature,test_target = parse_features_target('-测试数据:',test)
    print(time() + '-获取训练、验证、测试的特征和目标完成')
    # 1、训练、验证数据转换为xgboost矩阵(取目标log是为了数据更稳定)
    dtrain = xgb.DMatrix(train_feature,np.log(train_target))
    dvalid = xgb.DMatrix(valid_feature,np.log(valid_target))
    watchlist = [(dvalid,'valid'), (dtrain,'train')]
    # 2、设置基本参数
    num_boost_round=500
    params = {"max_depth":8,"eta":0.2,"subsample":0.7,"colsample_bytree":0.7,"silent":1,
    "objective":"reg:linear"} #线性回归
    # 3、创建训练模型
    gbm = xgb.train(params,dtrain,num_boost_round,evals=watchlist,feval=rmspe_xg,
    early_stopping_rounds=50,verbose_eval=True)
    print(time() + '获取训练、验证、测试的特征和目标完成')
3、根据迭代收敛情况，进行调参（调参是个高大上的事情，待精通了再聊）
四、评价预测
1、使用测试数据进行预测，并使用实际值对预测结果进行误差分析
    # 1、测试shop_id集合(数据首位)
    shop_id_df = test_feature[str(0)]
    print(time() + '-测试shop_id集合，数据形状', shop_id_df.shape)
    # 2、将测试集代入模型进行预测
    test_probs = gbm.predict(xgb.DMatrix(test_feature))
    print(time() + '-流量预测结果，数据形状',test_probs.shape)
    # 预测目标流量(指数还原)
    predict_flow = list(np.exp(test_probs)) #指数计算
    # 汇总预测结果
    real_predict = zip(list(shop_id_df),list(test_target),predict_flow)
    print(time() + '-预测最终结果汇总(前10):',predict_flow[0:10])
    # 3、对预测结果进行矫正(如果在极值之外就取平均值)
    max_dict,min_dict,ave_dict = get_shop_number_dict()
    # 预测修正结果
    predict_flow_improve = []
    for shop_id,real,predict in real_predict:
        predict0 = predict
        if predict > max_dict[shop_id]:predict = ave_dict[shop_id]
        if predict < min_dict[shop_id]:predict = ave_dict[shop_id]
        predict_flow_improve.append(predict)
        print(time() + '-预测修正结果:','shop_id=',shop_id,'real=',real,'predict0=',predict0,'predict=',predict0)
    # 4、计算误差
    real_predict_improve = zip(list(test_target),predict_flow_improve)
    error = rmse(real_predict_improve)
    print('误差标准差计算:', error)