树模型LightGBM CatBoost XGBoost的gpu单机多卡支持

最新推荐文章于 2024-04-20 03:05:36 发布
最新推荐文章于 2024-04-20 03:05:36 发布
阅读量1k 收藏 2
点赞数
分类专栏： ML 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CallMeYunzi/article/details/108108403
版权

当搭建deepforest模型时需考虑各基学习器的gpu加速问题。以下

 

LightGBM

读文档没看到明确说多卡的设置

好像要用到clinfo？哪位用过可否告诉我一下==

 

CatBoost

最简单，原生支持多gpu，直接设置参数：

params['task_type'] = 'GPU'
params['devices'] = '1,2,3'     

 

XGBoost 

可支持多gpu，需使用dask，可参考：

https://github.com/dmlc/xgboost/blob/master/demo/dask/gpu_training.py

 

Reference:

https://lightgbm.readthedocs.io/en/latest/GPU-Tutorial.html

https://catboost.ai/docs/features/training-on-gpu.html

https://xgboost.readthedocs.io/en/latest/gpu/

JY HUA
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Catboost with GPU
pertain99的博客
01-14 1684
## quick test with AUC X_tr, X_val, y_tr, y_val = train_test_split(X_less_nas, y, test_size=0.2, random_state=SEED,stratify = y) cat_params = { 'loss_function': 'Logloss',...
xgboost 0.8.1 linux 多GPU版本
01-15
官网下的 xgboost 0.8.1 linux 多GPU版本，安装后发现只有单支持个GPU， 自己编译了多GPU的 libxgboost.so ,基于cuda 9.0的， 安装后替换 ~/anaconda/xgboost (需要改成你自己的路径) 里的libxgboost.so 就可以了
linux下安装XGBoost并支持GPU（anaconda3）
wl2858623940的博客
06-02 5651
这几天为了让xgboost运行的更快，所以在研究让他支持gpu版本。踩了不少的坑，在此贡献出来让大家少点烦恼。前提     笔者由于开始是小菜鸟一枚，系统里直接安装的anaconda3，因此之前装的cpu版的xgboost是参考网上给出的直接利用命令行来安装：pip install xgboost    但是，如果直接按照官网上建议的GPU支持指南操作会发现，xgboost文件夹下已经存在buil...
如何使用 CatBoost 进行快速梯度提升_catboost改进，2024年最新网络安全小技巧
最新发布
2301_76223624的博客
04-20 847
在结束之际，我想重申的是，学习并非如攀登险峻高峰，而是如滴水穿石般的持久累积。尤其当我们步入工作岗位之后，持之以恒的学习变得愈发不易，如同在茫茫大海中独自划舟，稍有松懈便可能被巨浪吞噬。然而，对于我们程序员而言，学习是生存之本，是我们在激烈市场竞争中立于不败之地的关键。一旦停止学习，我们便如同逆水行舟，不进则退，终将被时代的洪流所淘汰。因此，不断汲取新知识，不仅是对自己的提升，更是对自己的一份珍贵投资。让我们不断磨砺自己，与时代共同进步，书写属于我们的辉煌篇章。需要完整版PDF学习资源私我。
xgboost 多gpu支持 编译
weixin_34038652的博客
04-01 320
xgboost 多gpu支持 编译Ubuntu 18.04.2Linux 4.15.0-46-genericgcc (Ubuntu 7.3.0-27ubuntu1~18.04) 7.3.0cuda 10.0 https://docs.nvidia.com/cuda/archive/10.0/cuda-installation-guide-linux/index.html#verify-you...
lightGBM gpu环境配置
diaoqi6581的博客
09-12 866
推荐先看一手官方的Installation Guide.我用的是ubuntu 16.04,一些要求如下图: 主要是OpenCL以及libboost两个环境的要求. (1) OpenCL的安装.我这里之前安装了NVIDA-395的驱动以及CUDA 9.0,只需要在编译的时候给出对应的path就可以了(这部分后面编译的时候会有解释).可以用clinfo查看OpenCL的...
基于pytorch的单机多卡分布式训练源码
09-06
基于pytorch的单机多卡分布式训练源码，已经测试可用，找了很多资料，这个可以完美适用于单机多卡的训练。 注意，是非常完美地适用于单机多卡的训练！！！
保姆教程白嫖GPU T4*2！Kaggle实现chatglm微调任务-单机多卡训练测试
05-27
利用Kaggle的GPU T4*2资源进行单机双卡训练微调Chatglm模型，最后进行本地CPU运行验证。
mmdetectionv1.0.0-选择几张卡训练一个模型，单机多卡开多个训练任务(还有问题)—修改config-batch图像数目，学习率下降等–训练期间测试开启-训练灰度
12-22
训练灰度 如果你想训练灰度图，在这个版本，你应该： mmdetection/mmdet/datasets/pipelines/loading.py @PIPELINES.register_module class LoadImageFromFile(object): def __init__(self, to_float32=...
「分布式训练」+ DDP单机多卡并行指南
07-20
掌握DDP的原理和实践，可以帮助你充分利用单机多GPU的计算能力，加快深度学习模型的训练速度。在实际应用中，应根据硬件环境和需求选择合适的通信协议，并优化启动方式，以实现最佳的训练性能。
解决pytorch多GPU训练保存的模型,在单GPU环境下加载出错问题
09-16
主要介绍了解决pytorch多GPU训练保存的模型,在单GPU环境下加载出错问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
lightgbm-gpu-Compiled-version
11-24
lightgbm-gpu已编译版本，linux环境下可以直接安装使用
使用NCCL进行多GPU训练(MULTI-GPU TRAINING WITH NCCL)
06-06
使用NCCL进行多GPU深度学习训练，其中涉及多机多卡，单机多卡等技术。 Optimized inter-GPU communication for DL and HPC Optimized for all NVIDIA platforms, most OEMs and Cloud Scales to 100s of GPUs, targeting 10,000s in the near future. Aims at covering all communication needs for multi-GPU computing. Only relies on CUDA. No dependency on MPI or any parallel environment.
【Dask机器学习实例(8)】使用Dask并行化训练XGBoost：Dask-XGBoost的使用
个人记录使用
02-07 2109
原文来自：Dask Examples XGBoost可以通过Dask来并行化训练。 XGBoost提供了一个强大的预测框架，在Kaggle竞赛和工业界都表现不错，它具有很好的性能和易解释性。（例如，很容易从XGBoost模型中找到重要的特征。） 准备Dask 启动Dask client，可以通过Dashboard来查看各种性能指标。 from dask.distributed import Cli...
GPU加速你的xgboost、lightgbm
NT的博客
08-05 881
lightgbm pip install lightgbm --install-option=–gpu 新增传入参数： ‘device’ : ‘gpu’, ‘gpu_platform_id’:0,  ‘gpu_device_id’:0 xgboost：pypi.org download pip install xgboost.whl 新增传入参数： ‘gpu_id’:0,  ‘tree_method’:‘gpu_hist’ ...
LightGBM调参
lyy的博客
11-24 8743
GBDT模型的另一个进化版本：LightGBM。LigthGBM是boosting集合模型中的新进成员，由微软提供，它和XGBoost一样是对GBDT的高效实现，原理上它和GBDT及XGBoost类似，都采用损失函数的负梯度作为当前决策树的残差近似值，去拟合新的决策树。 LightGBM在很多方面会比XGBoost表现的更为优秀。它有以下优势： 更快的训练效率 低内存使用 更高的准确率 ...
使用GPU加速你的xgboost、lightgbm
talkischeap
09-29 8882
使用GPU加速你的xgboost、lightgbm 当面对结构化数据的机器学习任务时，树模型往往可以作为首选进行尝试。然而如果你的数据量大（百万或千万），且恰好你又使用了交叉验证以及网格搜索，那想必如何加速训练便是你接下来要考虑的事情。 使用GPU并非TensorFlow等这些深度学习框架的专项，xgboost 以及 lightgbm之类的集成学习工具包，也支持使用GPU加速。下面就针对这两种工具包，如何搭建并使用GPU加速进行简单记录。 环境： （以下安装是基于你的环境已经安装好nvidia-drive
极简sklearn-决策树(一)
Cloud的专栏
01-25 3767
前言 当前最火爆的人工智能技术应该就是深度学习技术了，有了深度学习，为什么还要使用传统的机器学习技术呢？主要原因，当然是深度学习的成本太高了。深度学习技术需要大量的GPU资源，现在的GPU多贵就不用说了，并且需要大量的数据来喂养，如果数据不足，效果还不如传统的机器学习。 深度学习技术最大的优点就是效果出色，如果是计算机视觉，自然语言处理，自动驾驶等领域，肯定首选深度学习技术，如果是其他的分类和回归应用，完全可以考虑用机器学习算法来实现，毕竟现在有了集成算法和模型融合，机器学习的效果也很好。 环境安装
pytorch单机多卡训练模型
09-10
你可以使用PyTorch的`DataParallel`来实现单机多卡训练模型。`DataParallel`会自动将模型复制到每个可用的GPU并行计算，并在反向传播时进行梯度的累积和同步。 下面是一个简单的示例代码，展示了如何使用`DataParallel`来进行单机多卡训练模型： ```python import torch import torch.nn as nn from torch.utils.data import DataLoader # 定义模型 class MyModel(nn.Module): def __init__(self): super(MyModel, self).__init__() self.fc = nn.Linear(10, 1) def forward(self, x): return self.fc(x) # 创建模型实例 model = MyModel() # 设置设备 device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model = model.to(device) # 多卡训练 if torch.cuda.device_count() > 1: model = nn.DataParallel(model) # 使用DataParallel包装模型 # 定义数据集和数据加载器 dataset = YourDataset() # 自定义数据集 dataloader = DataLoader(dataset, batch_size=64, shuffle=True) # 定义优化器和损失函数 optimizer = torch.optim.SGD(model.parameters(), lr=0.001) criterion = nn.MSELoss() # 训练过程 for epoch in range(num_epochs): for inputs, labels in dataloader: inputs = inputs.to(device) labels = labels.to(device) # 前向传播 outputs = model(inputs) loss = criterion(outputs, labels) # 反向传播和优化 optimizer.zero_grad() loss.backward() optimizer.step() print(f"Epoch [{epoch+1}/{num_epochs}], Loss: {loss.item()}") # 保存模型 torch.save(model.state_dict(), "model.pth") ``` 在上述示例中，如果有多个可用的GPU，则`DataParallel`会自动将模型复制到每个可用的GPU并行计算。你可以通过`torch.cuda.device_count()`函数来检查可用的GPU数量。在训练过程中，你只需要像单卡训练一样使用模型即可，`DataParallel`会自动处理数据和梯度的同步。 请确保你的代码在使用`DataParallel`之前将模型移动到正确的设备上，并在训练过程中将数据和标签移动到相同的设备上。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值