主流机器学习模型模板代码+经验分享[xgb, lgb, Keras, LR]

最新推荐文章于 2024-05-23 13:48:08 发布
最新推荐文章于 2024-05-23 13:48:08 发布
阅读量1.6k 收藏 15
点赞数 2
分类专栏： python 文章标签： 机器学习模型模板代码 xgb lgb

lightgbm：非常棒的lightgbm官方文档学习资料

(下文为转载)

摘要

最近打各种比赛，在这里分享一些General Model，稍微改改就能用的

环境： python 3.5.2

XGBoost调参大全： http://blog.csdn.net/han_xiaoyang/article/details/52665396
XGBoost 官方API：
http://xgboost.readthedocs.io/en/latest//python/python_api.html

———————————————————————————————————————————-

Preprocess

# 通用的预处理框架    
import pandas as pd  
import numpy as np  
import scipy as sp  

# 文件读取  
def read_csv_file(f, logging=False):  
    print("==========读取数据=========")  
    data =  pd.read_csv(f)  
    if logging:  
        print(data.head(5))  
        print(f, "包含以下列")  
        print(data.columns.values)  
        print(data.describe())  
        print(data.info())  
    return data

———————————————————————————————————————————-

Logistic Regression

# 通用的LogisticRegression框架  

import pandas as pd  
import numpy as np  
from scipy import sparse  
from sklearn.preprocessing import OneHotEncoder  
from sklearn.linear_model import LogisticRegression  
from sklearn.preprocessing import StandardScaler  

# 1. load data  
df_train = pd.DataFrame()  
df_test  = pd.DataFrame()  
y_train = df_train['label'].values  

# 2. process data  
ss = StandardScaler()  


# 3. feature engineering/encoding  
# 3.1 For Labeled Feature  
enc = OneHotEncoder()  
feats = ["creativeID", "adID", "campaignID"]  
for i, feat in enumerate(feats):  
    x_train = enc.fit_transform(df_train[feat].values.reshape(-1, 1))  
    x_test = enc.fit_transform(df_test[feat].values.reshape(-1, 1))  
    if i == 0:  
        X_train, X_test = x_train, x_test  
    else:  
        X_train, X_test = sparse.hstack((X_train, x_train)), sparse.hstack((X_test, x_test))  

# 3.2 For Numerical Feature  
# It must be a 2-D Data for StandardScalar, otherwise reshape(-1, len(feats)) is required  
feats = ["price", "age"]  
x_train = ss.fit_transform(df_train[feats].values)  
x_test  = ss.fit_transform(df_test[feats].values)  
X_train, X_test = sparse.hstack((X_train, x_train)), sparse.hstack((X_test, x_test))  

# model training  
lr = LogisticRegression()  
lr.fit(X_train, y_train)  
proba_test = lr.predict_proba(X_test)[:, 1]

———————————————————————————————————————————-

LightGBM

  1. 二分类
import lightgbm as lgb  
import pandas as pd  
import numpy as np  
import pickle  
from sklearn.metrics import roc_auc_score  
from sklearn.model_selection import train_test_split  

print("Loading Data ... ")  

# 导入数据  
train_x, train_y, test_x = load_data()  

# 用sklearn.cross_validation进行训练数据集划分，这里训练集和交叉验证集比例为7：3，可以自己根据需要设置  
X, val_X, y, val_y = train_test_split(  
    train_x,  
    train_y,  
    test_size=0.05,  
    random_state=1,  
    stratify=train_y ## 这里保证分割后y的比例分布与原数据一致  
)  

X_train = X  
y_train = y  
X_test = val_X  
y_test = val_y  


# create dataset for lightgbm  
lgb_train = lgb.Dataset(X_train, y_train)  
lgb_eval = lgb.Dataset(X_test, y_test, reference=lgb_train)  
# specify your configurations as a dict  
params = {  
    'boosting_type': 'gbdt',  
    'objective': 'binary',  
    'metric': {'binary_logloss', 'auc'},  
    'num_leaves': 5,  
    'max_depth': 6,  
    'min_data_in_leaf': 450,  
    'learning_rate': 0.1,  
    'feature_fraction': 0.9,  
    'bagging_fraction': 0.95,  
    'bagging_freq': 5,  
    'lambda_l1': 1,    
    'lambda_l2': 0.001,  # 越小l2正则程度越高  
    'min_gain_to_split': 0.2,  
    'verbose': 5,  
    'is_unbalance': True  
}  

# train  
print('Start training...')  
gbm = lgb.train(params,  
                lgb_train,  
                num_boost_round=10000,  
                valid_sets=lgb_eval,  
                early_stopping_rounds=500)  

print('Start predicting...')  

preds = gbm.predict(test_x, num_iteration=gbm.best_iteration)  # 输出的是概率结果  

# 导出结果  
threshold = 0.5  
for pred in preds:  
    result = 1 if pred > threshold else 0  

# 导出特征重要性  
importance = gbm.feature_importance()  
names = gbm.feature_name()  
with open('./feature_importance.txt', 'w+') as file:  
    for index, im in enumerate(importance):  
        string = names[index] + ', ' + str(im) + '\n'  
        file.write(string)
  1. 多分类
import lightgbm as lgb  
import pandas as pd  
import numpy as np  
import pickle  
from sklearn.metrics import roc_auc_score  
from sklearn.model_selection import train_test_split  

print("Loading Data ... ")  

# 导入数据  
train_x, train_y, test_x = load_data()  

# 用sklearn.cross_validation进行训练数据集划分，这里训练集和交叉验证集比例为7：3，可以自己根据需要设置  
X, val_X, y, val_y = train_test_split(  
    train_x,  
    train_y,  
    test_size=0.05,  
    random_state=1,  
    stratify=train_y ## 这里保证分割后y的比例分布与原数据一致  
)  

X_train = X  
y_train = y  
X_test = val_X  
y_test = val_y  


# create dataset for lightgbm  
lgb_train = lgb.Dataset(X_train, y_train)  
lgb_eval = lgb.Dataset(X_test, y_test, reference=lgb_train)  
# specify your configurations as a dict  
params = {  
    'boosting_type': 'gbdt',  
    'objective': 'multiclass',  
    'num_class': 9,  
    'metric': 'multi_error',  
    'num_leaves': 300,  
    'min_data_in_leaf': 100,  
    'learning_rate': 0.01,  
    'feature_fraction': 0.8,  
    'bagging_fraction': 0.8,  
    'bagging_freq': 5,  
    'lambda_l1': 0.4,  
    'lambda_l2': 0.5,  
    'min_gain_to_split': 0.2,  
    'verbose': 5,  
    'is_unbalance': True  
}  

# train  
print('Start training...')  
gbm = lgb.train(params,  
                lgb_train,  
                num_boost_round=10000,  
                valid_sets=lgb_eval,  
                early_stopping_rounds=500)  

print('Start predicting...')  

preds = gbm.predict(test_x, num_iteration=gbm.best_iteration)  # 输出的是概率结果  

# 导出结果  
for pred in preds:  
    result = prediction = int(np.argmax(pred))  

# 导出特征重要性  
importance = gbm.feature_importance()  
names = gbm.feature_name()  
with open('./feature_importance.txt', 'w+') as file:  
    for index, im in enumerate(importance):  
        string = names[index] + ', ' + str(im) + '\n'  
        file.write(string)

———————————————————————————————————————————-

XGBoost

二分类

import numpy as np  
import pandas as pd  
import xgboost as xgb  
import time  
from sklearn.model_selection import StratifiedKFold  


from sklearn.model_selection import train_test_split  
train_x, train_y, test_x = load_data()  

# 构建特征  


# 用sklearn.cross_validation进行训练数据集划分，这里训练集和交叉验证集比例为7：3，可以自己根据需要设置  
X, val_X, y, val_y = train_test_split(  
    train_x,  
    train_y,  
    test_size=0.01,  
    random_state=1,  
    stratify=train_y  
)  

# xgb矩阵赋值  
xgb_val = xgb.DMatrix(val_X, label=val_y)  
xgb_train = xgb.DMatrix(X, label=y)  
xgb_test = xgb.DMatrix(test_x)  

# xgboost模型 #####################  

params = {  
    'booster': 'gbtree',  
    # 'objective': 'multi:softmax',  # 多分类的问题、  
    # 'objective': 'multi:softprob',   # 多分类概率  
    'objective': 'binary:logistic',  
    'eval_metric': 'logloss',  
    # 'num_class': 9,  # 类别数，与 multisoftmax 并用  
    'gamma': 0.1,  # 用于控制是否后剪枝的参数,越大越保守，一般0.1、0.2这样子。  
    'max_depth': 8,  # 构建树的深度，越大越容易过拟合  
    'alpha': 0,   # L1正则化系数  
    'lambda': 10,  # 控制模型复杂度的权重值的L2正则化项参数，参数越大，模型越不容易过拟合。  
    'subsample': 0.7,  # 随机采样训练样本  
    'colsample_bytree': 0.5,  # 生成树时进行的列采样  
    'min_child_weight': 3,  
    # 这个参数默认是 1，是每个叶子里面 h 的和至少是多少，对正负样本不均衡时的 0-1 分类而言  
    # ，假设 h 在 0.01 附近，min_child_weight 为 1 意味着叶子节点中最少需要包含 100 个样本。  
    # 这个参数非常影响结果，控制叶子节点中二阶导的和的最小值，该参数值越小，越容易 overfitting。  
    'silent': 0,  # 设置成1则没有运行信息输出，最好是设置为0.  
    'eta': 0.03,  # 如同学习率  
    'seed': 1000,  
    'nthread': -1,  # cpu 线程数  
    'missing': 1,  
    'scale_pos_weight': (np.sum(y==0)/np.sum(y==1))  # 用来处理正负样本不均衡的问题,通常取：sum(negative cases) / sum(positive cases)  
    # 'eval_metric': 'auc'  
}  
plst = list(params.items())  
num_rounds = 2000  # 迭代次数  
watchlist = [(xgb_train, 'train'), (xgb_val, 'val')]  

# 交叉验证  
result = xgb.cv(plst, xgb_train, num_boost_round=200, nfold=4, early_stopping_rounds=200, verbose_eval=True, folds=StratifiedKFold(n_splits=4).split(X, y))  

# 训练模型并保存  
# early_stopping_rounds 当设置的迭代次数较大时，early_stopping_rounds 可在一定的迭代次数内准确率没有提升就停止训练  
model = xgb.train(plst, xgb_train, num_rounds, watchlist, early_stopping_rounds=200)  
model.save_model('../data/model/xgb.model')  # 用于存储训练出的模型  

preds = model.predict(xgb_test)  

# 导出结果  
threshold = 0.5  
for pred in preds:  
    result = 1 if pred > threshold else 0

———————————————————————————————————————————-

处理正负样本不均匀的案例

有些案例中，正负样本数量相差非常大，数据严重unbalanced，这里提供几个解决的思路

# 计算正负样本比例  
positive_num = df_train[df_train['label']==1].values.shape[0]  
negative_num = df_train[df_train['label']==0].values.shape[0]  
print(float(positive_num)/float(negative_num))

主要思路

  1. 手动调整正负样本比例

  2. 过采样 Over-Sampling
    对训练集里面样本数量较少的类别（少数类）进行过采样，合成新的样本来缓解类不平衡，比如SMOTE算法

  3. 欠采样 Under-Sampling

  4. 将样本按比例一一组合进行训练，训练出多个弱分类器，最后进行集成

———————————————————————————————————————————-

框架推荐

Github上大神写的相关框架，专门用来处理此类问题：
https://github.com/scikit-learn-contrib/imbalanced-learn

Just_do_it_2018
关注
专栏目录
B.【机器学习实践系列二】数据挖掘-二手车价格交易预测（含EDA探索、特征工程、特征优化、模型融合等）
丨汀、的博客
04-13 910
了解赛题赛题概况数据概况预测指标分析赛题数据读取pandas分类指标评价计算示例回归指标评价计算示例EDA探索载入各种数据科学以及可视化库载入数据总览数据概况判断数据缺失和异常了解预测值的分布特征分为类别特征和数字特征，并对类别特征查看unique分布数字特征分析类别特征分析用pandas_profiling生成数据报告特征工程导入数据删除异常值特征构造特征筛选建模调参，相关原理介绍与推荐线性回归模型决策树模型GBDT模型。
xgb, lgb, Keras, LR(二分类、多分类代码)
dili8870的博客
10-06 2717
preprocess # 通用的预处理框架 import pandas as pd import numpy as np import scipy as sp # 文件读取 def read_csv_file(f, logging=False): print("==========读取数据=========") data = pd.read_csv(f) ...
lightgbm 训练模型代码
行路者
10-19 721
import lightgbm as lgb import pandas as pd def lgb_train(x_train, y_train, x_test, y_test): clf = lgb.LGBMClassifier( boosting_type='gbdt', # num_leaves=31, num_leaves=31, reg_alpha=0.05, reg_lambda=1.5, .
【算法比赛】主流机器学习/深度学习模型代码模板
alicelmx的博客
11-14 1428
主流机器学习模型代码
独家 | 不同机器学习模型的决策边界（附代码）
数据派THU
04-09 929
作者 ：Matthew Smith翻译：张若楠校对：吴金笛本文约6700字，建议阅读10分钟本文利用Iris数据集训练了多组机器学习模型，并通过预测大量的拟合数据绘制出了每个模型的决策...
写一下EEMD+XGBoost+LightGBM+LSTM代码
weixin_42579969的博客
02-16 513
EMD(Empirical Mode Decomposition)是一种信号处理方法，可以将非线性和非平稳信号分解成若干个本质模态函数(Intrinsic Mode Function, IMF)。 EEMD(Ensemble Empirical Mode Decomposition)是一种改进的 EMD 方法，通过对每个 IMF 添加随机噪声来增加其鲁棒性和可重复性。 XGBoost 和 Ligh...
数据挖掘-二手车价格交易预测（含EDA探索、特征工程、特征优化、模型融合等）
06-07
此题为传统的数据挖掘问题，通过数据科学以及机器学习深度学习的办法来进行...主要应用xgb、lgb、catboost，以及pandas、numpy、matplotlib、seabon、sklearn、keras等等数据挖掘常用库或者框架来进行数据挖掘任务。
SOHU-baseline:搜狐算法大赛（实体+情感）简单基准（比较容易理解）（使用lgb模型做二分类）
03-16
5月10日更新，初赛结束，总分排名6，应该进决赛了，比赛结束后会放出一个分数55+实体的单模代码 最终lgb代码： : SOHU基准 搜狐算法大赛（实体撤销+情感预测）的基准线〜 没有用深度模型，用的传统的lgb当成分类做的，这里的代码只用了一个非常基本的tfidf特征，模型构造好了，大家可以自己遵循自己的想法体现特征。 想先做实体的部分，就没做情感，可以加一个文件features / emo_features.py继续做，因为情趣正面感比例分解，可以直接全预测为POS。 跑代码前先把训练集和测试集放到/ data文件夹里 文件说明 先跑1.main_train_lmh.ipynb再跑1.main_test_lmh.ipynb models文件里是放训练好的lgb（也可以别的）模型的 功能里是放计算好的特征的 results提交的结果会放到这里，提交前打开答案，替换全部“为空就可以直
XGBoost、LightGBM、Catboost对比
01-06
本文主要参考Battle of the Boosting Algos: LGB, XGB, Catboost，结果与原文有出入。 文章目录1. 对比标准1.1 数据集1.2 规则1.3 版本2. 结果2.1 准确率2.2 训练时间和预测时间2.3 可解释性2.3.1 特征重要性2.3.2 SHAP值2.3.3 可视化二叉树3. 总结4. 代码参考文献 1. 对比标准 1.1 数据集 分类：Fashion MNIST（60000条数据784个特征） 回归：NYC Taxi fares（60000条数据7个特征） 大规模数据集：NYC Taxi fares（2百万条数据7个特征） PS：本文只进行
模型训练xgb
MusicDancing的博客
08-25 869
1. model pipeline 拆解 2. 代码汇总
XGB建模流程化代码—仅作学习笔记
qq_42457415的博客
03-09 986
XGB建模流程化代码—仅作个人学习笔记 建模的要点80%在数据，我是真的理解到了，心痛、头疼☠ 本篇主要是把xgb建模流程化，处理好数据，扔进去个把小时就搞定了，很easy。经常用于三方数据的测试，说起这个也是头大，外测返回数据一般分为评分、标签或者特征变量表。当返回众多特征时，可以简单的跑下模型，看看初期表现，再决定是否深入分析，不然众多厂商的数据，花时间各种弄完，发现并不适用，就白瞎了。 import pandas as pd import numpy as np from sklearn.metric
XGB算法框架梳理
qq_27018963的博客
02-01 862
XGB算法框架梳理 目录 1. XGB算法原理 2. 损失函数 3. 正则化 4. 缺失值处理 5. 应用场景 6. sklearn参数 7. 参考资料 1. XGB算法原理 目标 建立K个回归树，使得树群的预测值尽量接近真实值（准确率）而且有尽量大的泛化能力（更为本质的东西），从数学角度看这是一个泛函最优化，多目标，定义目标函数： 直观上看，目标要求预测误差尽量小，叶子节点尽量少，节...
【机器学习】必会框架之：XGBoost
最新发布
商务合作 | 面试培训 | 职场规划 ==>主页扫码
05-23 2127
机器学习必会之XGBoost
GBDT与xgb
yeqiustu的博客
05-16 1098
GBDT GBDT，梯度提升决策树，是一种以决策树为base learner的集成方法，以串行的方式，不断的学习新的base learner，每次都朝目标前进一些，形成一系列base learner，最终由这一系列base learner进行线性加权得到最终的learner。 梯度下降法， XGB ...
Lightgbm基本原理介绍
qq_16236875的博客
11-10 2335
Lightgbm基本原理介绍 - Y学习使我快乐V的博客 - CSDN博客 https://blog.csdn.net/qq_24519677/article/details/82811215 1 传统的boosting 算法需要对每个特征都要扫描所有的样本点来选择最好的切分点，这是非常耗时的。为了解决这种大样本高纬度数据的环境下耗时的问题，Lgb 使用了 如下两个解决方法： 一是GOSS(基于...
LGB模型保存及使用
kuxingseng123的博客
01-26 2467
会自己进行调参。
机器学习回归模型代码
07-28
回答: 以下是使用支持向量机回归模型和XGBoost回归模型的代码示例: 使用支持向量机回归模型: ``` from sklearn.svm import SVR # 定义支持向量机回归模型 model = SVR() # 拟合模型 model.fit(X, y) # 预测 y_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值