NNI自动超参数搜索 Pytorch GPU环境 调参小记

最新推荐文章于 2024-05-01 23:27:22 发布
最新推荐文章于 2024-05-01 23:27:22 发布
阅读量2.6k 收藏 3
点赞数 6
分类专栏： 人工智能 文章标签： 深度学习 nni 自动超参数搜索 调参 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34361099/article/details/107904019
版权

前言

使用CPU调参的例子就略过了，网络上教程很多，这篇博客主要针对GPU环境下NNI配置问题。

配置

使用GPU需要注意修改config.myl的几个地方：
config.myl

authorName: default
experimentName: titanic
trialConcurrency: 1
maxExecDuration: 1h
maxTrialNum: 100
#choice: local, remote
trainingServicePlatform: local
searchSpacePath: search_space.json
#choice: true, false
useAnnotation: false
tuner:
  #choice: TPE, Random, Anneal, Evolution
  builtinTunerName: TPE
  classArgs:
    #choice: maximize, minimize
    optimize_mode: maximize
trial:
  command: python train.py
  codeDir: .
  gpuNum: 1
localConfig:
  useActiveGpu: true
  maxTrialNumPerGpu: 5
  gpuIndices: 1
</
最低0.47元/天 解锁文章
小刀丶
关注
  • 6
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Neural Network Intelligence (NNI) | 安装以及自动化超参数搜索指北
Andrwin的博客
05-12 1062
一、安装NNI pip install nni 不要用豆瓣的源，依赖包不全，建议用阿里云的源。 import nni 没有问题的时候就说明装好了。 二、配置 2.1 项目代码包含NNI # 引入nni import nni # 这是个字典 params = vars(get_params()) # 从参数空间的json文件中按照某种策略去除一组 tuner_params= nni.get_next_parameter() # 更新参数字典 params.update(tuner_
NNI(自动超参数搜索)工具环境配置及使用
shY Pa
12-22 2945
本文主要介绍如何搭建Microsoft的NNI工具环境以及使用NNI进行Mnist分类任务的超参数搜索。 NNI简介 NNI (Neural Network Intelligence) 是一个轻量但强大的工具包，帮助用户自动的进行特征工程，神经网络架构搜索，超参调优以及模型压缩。 NNI 管理自动机器学习 (AutoML) 的 Experiment，调度运行由调优算法生成的 Trial 任务来找到最好的神经网络架构和/或超参，支持各种训练环境，如本机，远程服务器，OpenPAI，Kubeflow，基于 K
微软自动调参工具 NNI 使用事例教程源码，基于pytorch1.7.1
11-10
微软自动调参工具 NNI 使用事例教程源码，基于pytorch1.7.1
PyTorch中的超参数调优技巧有哪些？
最新发布
coszhuang的博客
05-01 937
本文详细介绍了PyTorch中的超参数调优技巧，包括网格搜索、随机搜索和贝叶斯优化。我们对每种方法的原理和公式进行了推导和介绍，并给出了Python代码示例。超参数调优是优化机器学习算法性能的重要步骤，掌握PyTorch中的超参数调优技巧对于提高模型性能具有重要意义。期望本文能为读者提供一些有用的指导和帮助。
基于pytorch使用NNI的mnist例子分析（附完整代码）
Melody
02-13 4170
工程目录 config.yml ：配置文件 main.py ：mnist_pytorch程序 search_space.json ：搜索空间定义文件 配置文件（config.yml） authorName: default experimentName: mnist_pytorch trialConcurrency: 1 maxExecDuration: 100h maxTrialNum: ...
超参数优化专题之工具—microsoft/nni(1)
发呆的比目鱼的博客
08-28 642
超参数优化专题之工具—microsoft/nni（1）
【pytorch】nni微调pytorch mnist
luolinll1212的专栏
11-21 648
1，文件配置 rose@rose-machine:~/pytorch_c++/test$ tree . ├── config.yml # 微调配置文件 ├── mnist.py # 启动文件 └── search_space.json # 参数配置文件 2，启动与停止 nnictl create --config c...
NNI自动调参示例项目
03-05
在本项目中，实现了调用NNI进行自动调参。资源中包括了原始数据集以及引入NNI的完整实验源码，是一个非常友好的入门级AI程序，开箱即用。在本人的专栏中还有一篇配套博客，详细介绍了这个项目。
scikit-nni：AutoML-使用Microsoft NNI的超参数搜索scikit-learn管道
02-04
用户可以通过这个API轻松地将NNI的超参数搜索功能应用到scikit-learn的模型和预处理步骤上，创建出自动化的机器学习管道。 **机器学习管道**是scikit-learn中一个强大的概念，它允许将多个预处理步骤和模型组合成一...
pytorch-boilerplate:其他pytorch样板
05-03
pytorch样板：手电筒 其他pytorch样板。 LightningModule [手电筒/跑步者/pl.py] 培训师[手电筒/跑步者/main_pl.py] 促进剂 打回来 记录[手电筒/跑步者/pl.py] ...准备环境：gpu docker，本地python env ..
nni：用于自动化机器学习生命周期的开源AutoML工具包，包括功能工程，神经体系结构搜索，模型压缩和超参数调整
02-04
|NNI（神经网络智能）是一个轻量级但功能强大的工具包，可帮助用户自动化，，超参数和。 该工具管理自动机器学习（AutoML）实验，调度和运行由调整算法生成的实验性试验工作，以搜索最佳训练条件下的最佳神经体系...
Neural Network Intelligence (NNI) | PyTorch实现GPU的MNIST卷积/LSTM两个版本
Andrwin的博客
05-14 571
环境 ： conda install pytorch==1.7.0 torchvision==0.8.0 torchaudio==0.7.0 cudatoolkit=10.1 -c pytorch 每次看起来都很简单，自己写起来才知道哪里不会。 import os import argparse import sys # import logging # import nni import torch import time import torch.nn as nn import torch.
NNI — 微软开源的一个自动帮你做机器学习调参的神器
Python实用宝典网
03-05 1456
NNI 自动机器学习调参，是微软开源的又一个神器，它能帮助你找到最好的神经网络架构或超参数，支持各种训练环境。它常用的使用场景如下：想要在自己的代码、模型中试验不同的机器学习算法。想要在不...
AUTOML_NNI案例之 1.pytorch——minist 超参优化
thehappysheep的博客
09-10 1005
1.代码文件 https://github.com/microsoft/nni/tree/master/examples/trials/mnist-pytorch 主要包括，配置文件config_windows.yml和minist.py文件，搜索空间文件search_space.json文件。 2.config_windows.ymal配置文件 配置文件中包设置了trial次数和时间，要起训练的脚本，以及搜索空间 authorName: default experimentName: ex
Neural Network Intelligence (NNI) | PyTorch-CiFar10 项目示例+常用pytorch版本模型全家福
Andrwin的博客
05-13 563
一、环境 NNI version: 2.1 Python version: 3.8.3 Pytorch version: 1.6.0 二、代码 1.main.py '''Train CIFAR10 with PyTorch.''' from __future__ import print_function import argparse import torch import torch.nn as nn import torch.optim as optim import torch.nn.f
NNI样例实践-以mnist-pytorch为样例
weixin_43408599的博客
12-04 314
NNI样例分析文档——以mnist-pytorch为样例 1. 运行代码 search_space.json { "batch_size": {"_type":"choice", "_value": [16, 32, 64, 128]}, "hidden_size":{"_type":"choice","_value":[128, 256, 512, 1024]}, "lr":{"_type":"choice","_value":[0.0001, 0.001, 0.01, 0.1
pytorch:使用nni调参
qq_40940771的博客
10-09 212
定义了超参数的名字，取值的选择情况(平均分布，在给定值内选择，正态分布等等)，和对应的可能取值或分布参数。具体见网址。
tensowflow 训练 远程提交_深度解析AutoML工具——NNI：带上超参一起训练
weixin_29611573的博客
12-30 323
NNI (Neural Network Intelligence) 是自动机器学习（AutoML）的工具包。 它通过多种调优的算法来搜索最好的神经网络结构和（或）超参，并支持单机、本地多机、云等不同的运行环境。安装指南兼容性Linux Ubuntu 16.04 或更高版本MacOS 10.14.1Windows 10.1809安装pip install -i https://pypi.tuna.t...
hyper-Parameter auto tuning 机器学习自动调参 (gpu设置)--nni库
markfuk996的博客
05-27 1224
引言 随着这几年深度学习的大火，入了坑才发现 机器学习虽然智能，但是调参是个很大的坑。得益于这几年工具的发展，autoML有了进展。炼丹师们有救了。 本文就以nni库为例，来说明具体如何设置gpu。在nni的introduction中直接忽略了这部分，造成了配置文件中虽然设置了gpuNum:1，nvidia-smi操作后发现后台几乎没有调用gpu。去查日志文件才发现：gpu_metrices file not exit. prerequisite 测试环境： Ubuntu 16.04 所需安装库: cuda
NNI调参工具运行时间
09-13
NNI（Neural Network Intelligence）是一个开源的自动机器学习（AutoML）工具包，用于进行超参数调优和模型选择。NNI提供了丰富的调参算法和基准，可以帮助用户高效地搜索最佳的超参数组合。 NNI的运行时间取决于多个因素，包括数据集的大小、调参算法的选择、搜索空间的复杂性等等。具体的时间消耗因实际情况而异。 在一些简单的调参任务中，NNI可能只需要几分钟或几个小时即可完成。而在更复杂的任务中，可能需要数小时甚至数天来搜索最佳的超参数组合。 需要注意的是，NNI支持分布式训练和多节点搜索，这可以显著缩短运行时间，特别是在大规模数据集和复杂模型中。 总之，NNI的运行时间是根据具体任务和实验设置而定的，无法提供统一的准确时间。建议在使用NNI进行调参时，根据实际情况进行时间预估，并合理分配计算资源。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值