fast-reid复现Hyper-Parameter Optimization

最新推荐文章于 2024-01-25 01:49:40 发布

wait a minutes

最新推荐文章于 2024-01-25 01:49:40 发布

阅读量369

点赞数

分类专栏：行人再识别文章标签： fast-reid

本文链接：https://blog.csdn.net/qq_35975447/article/details/109307473

版权

行人再识别专栏收录该内容

21 篇文章 97 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文档记录了在不升级到torch1.6版本的情况下复现fast-reid的HPOReID项目时遇到的问题及解决方案，包括数据读取、torch版本兼容性、共享内存不足、CUDA错误等，并提供了预训练模型下载链接。

摘要由CSDN通过智能技术生成

这个写得有点久了，忘记了发。

0.环境

ubuntu16.04
cuda9.0
python3.6
torch==1.1.0
torchvision==0.3.0
Cython
yacs
tensorboard
future
termcolor
sklearn
tqdm
opencv-python==4.1.0.25
matplotlib
scikit-image
faiss-gpu==1.6.3
tabulate
gdown
'ray[tune]'
hpbandster
ConfigSpace
hyperopt
ray
dataclasses

1.复现要修复的bug

由于不想升级到torch1.6版本，所以有些新的东西不能用，有些库用不好。这里要修改一些。有些错误信息已经不见了。也就只记录下修改吧。

（1）fast-reid-master/projects/HPOReID/train_hpo.py ray--line36

ray.init(num_cpus=12, num_gpus=2, dashboard_host='127.0.0.1')

（2）fast-reid-master/projects/HPOReID/tra

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

wait a minutes

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

Hyperparameter Optimization in Deep Learning Machine L

程序员光剑

08-18

621

作者：禅与计算机程序设计艺术 1.简介在深度学习领域，超参数优化(Hyperparameter optimization)是一种重要的优化方法，因为它能够帮助我们找到最佳的参数配置。然而，这个过程并不容易，因为超参数空间通常很大并且非连续可导。本文将从以下几个方面进行介绍：

Paper Reading - 综述系列 - Hyper-Parameter Optimization（上）

weixin_43953700的博客

04-30

9649

自开发深度神经网络以来，几乎在日常生活的每个方面都给人类提供了比较理性的建议。但是，尽管取得了这一成就，神经网络的设计和训练仍然是具有很大挑战性和不可解释性，同时众多的超参数也着实让人头痛，因此被认为是在炼丹。因此为了降低普通用户的技术门槛，自动超参数优化（HPO）已成为学术界和工业领域的热门话题。本文主要目的在回顾了有关 HPO 的最重要的主题。主要分为以下几个部分模型训练和结构相关的关键超参数，并讨论了它们的重要性和定义值范的围 HPO中主要的优化算法及其适用性，包括它们的效率和准确性 HP

参与评论您还未登录，请先登录后发表或查看评论

超参数优化与NNI(HPO，Hyper-parameter optimization)

大漠帝国的博客

03-31

4239

一、超参数优化简介超参数优化 (HPO) 是 Hyper-parameter optimization的缩写，中文可以翻译为自动机器学习，我比较喜欢叫它“机器学习自动化”，更加接近人们所津津乐道的通用人工智能吧。二、AutoML特性从比较出名的开源Auto平台、互联网大厂AutoML云产品，以及AI公司的AutoML软件来看 ...

深度学习笔记（十四）—— 超参数优化[Hyperparameter Optimization]

zeeq的博客

03-11

8514

训练神经网络会涉及到许多超参数设置。神经网络中最常见的超参数包括： the initial learning rate learning rate decay schedule (such as the decay constant) regularization strength (L2 penalty, dropout strength) 但正除此之外，还有许多相对不太敏感的超参数，例如在单参数自适应学习方法中，动量的设置及其schedule等方面。在本节中，我们将介绍一些执行超参数搜索的t

Paper Reading - 综述系列 - Hyper-Parameter Optimization（下）

weixin_43953700的博客

05-03

3034

fast-reid复现（Market1501）

聿默的博客

07-23

6397

https://github.com/JDAI-CV/fast-reid 0.环境 ubuntu16.04 torch==1.2.0 torchvision==0.4.0 Cython yacs tensorboard

fast-reid-master.zip

08-27

《Fast-ReID: 2020年6月20日版本详解》 Fast-ReID是一个专注于行人重...2020年6月20日的版本，记录了Fast-ReID在当时的成熟度和技术水平，对于研究ReID历史发展或者复现当时最优算法的成果，都具有很高的参考价值。

远程服务器复现fast-reid

苏钟白的博客

11-11

695

1.下载Xshell，远程连接服务器打开Xshell，点击“文件”，“新建”。如下界面：名称改不改都行，在主机位置输入主机号。点击“用户身份验证”，输入用户名和密码，点击“确认”。然后在首页再次点击“文件”、“连接”。选择刚刚创建的会话，进行连接。服务器连接成功。 2.配置fast-reid的环境 2.1创建虚拟环境 conda create --name fastreid python== 3.8 2.2激活虚拟环境 conda activate fastreid 2.3安装pytorch con

fast-reid:SOTA重新识别方法和工具箱

04-28

[2021年1月]基于fastreid的NAIC20（reid track）已经发布！ [2021年1月] FastReID V1.0已发布！ :party_popper: 支持除reid之外的许多任务，例如图像检索和人脸识别。请参阅。 [2020年10月]添加了基于fastreid...

fast-reid-master-20210111.zip

01-13

fast-reid-master-20210111.zip，https://github.com/JDAI-CV/fast-reid

fast-reid-master-20200831.zip

09-02

fast-reid-master-20200831.zip，是https://github.com/JDAI-CV/fast-reid，20200831下载的版本。该项目应该是在快速迭代开发的过程中，变动比较大，所以放在这里，侵权请联系我删除噢。

了解超参数调优(HyperparameterOptimization)

最新发布

程序员光剑

01-25

627

1.背景介绍在机器学习和深度学习中，超参数调优是一项至关重要的任务。超参数是模型训练过程中不能通过梯度下降等方法优化的参数，例如学习率、批量大小、隐藏层节点数等。选择合适的超参数可以显著提高模型的性能，而选择不当的超参数可能导致模型性能低下甚至无法收敛。因此，了解超参数调优的原理和方法对于提高模型性能至关重要。本文将从以下几个方面进行阐述：背景介绍核心概念与联系核心算法原理和具体...

Algorithms for Hyper-Parameter Optimization译文

AI-huni的博客

03-08

2187

仅供参考，如有翻译不到位的地方敬请指出。论文地址：Algorithms for Hyper-Parameter Optimization 摘要图像分类基准的最新进展来自于现有技术的更好配置，而不是新的特征学习方法。传统上，超参数优化一直是人类的工作，因为在只有少量试验的情况下，人类的工作会非常有效。目前，计算机集群和GPU处理器可以运行更多的试验，我们表明算法方法可以找到更好的结果。我们也给出...

复现fastreid学到的Linux指令等知识

苏钟白的博客

11-18

1620

2020.11.18 在跑车的时候报错：cuda out of memory。输入：watch -n 0.1 nvidia-smi可以看到GPU的占有率和使用率。0.1表示每0.1秒更新显示。输入ps -ef可以看到线程。在重跑模型的时候报错，说端口已被占用。用watch -n 0.1 nvidia-smi还可以看到在运行的的pid，如35427，输入 kill -9 35427，可以看到这个pid被kill掉了。进入fast-reid-master后，想要查看某个文件，如train_net.py,

深度学习调参数

liuheng0111的博客

10-28

3022

这次活动的主题是 hyperparameter optimization 和 bayesian optimization，简单说就是如何更有效率地调参，或者。。如何调得一手好参。这个方向近几年论文出来不少，研究潜力不小；而且实用性很强，不仅可用在深度学习中，也可用于其他机器学习方法的调参。选几篇论文讨论清楚，我想无论对学术还是工程都会有不小帮助。主要讨论以下几篇论文： 1

超参自动优化方法总结

whaosoft143ai的博客

11-04

604

我想原因是贝叶斯的开销太大了，前面有提到，在每次循环选超参值的时候，贝叶斯优化都需要将带入昂贵的目标函数中，去得到输出值y，当目标函数特别复杂时，这种情况的评估开销是很大的，更何况随着搜索空间和搜索次数的变大，计算会越发昂贵。这里，谈谈我比赛和个人实践中的体会，我很少会花过多时间在超参的调优上，因为它带来的收益是有限的，很多时候比起压榨模型来说，思考和挖掘数据特征能带来更多的收益，所以我想这也是为什么上面说：在任何想要调优超参时，先用格子搜索或随机搜索吧。 whaosoft aiot http:/

【行人重识别】fast-reid复现（20210119-v1.0.0）

聿默的博客

01-19

1191

参考代码： https://github.com/JDAI-CV/fast-reid/tree/v1.0.0 0.环境 ubuntu16.04 cuda9.0 python3.6 torch==1.1.0 torchvision==0.3.0 Cython yacs tensorboard future termcolor sklearn tqdm opencv-python==4.1.0.25 matplotlib scikit-image numpy==1.16.4 1.准备数据参考.

FastReID笔记

louzhengzhai的博客

03-03

799

在用fastReID做东西，做到哪儿写到哪儿。 apex安装 pip安装一直失败，所以直接python setup.py install，听说会牺牲一定的性能。数据 FastReID定义的Dataloader把数据封装成一个字典 return { "images": img, "targets": pid, "camids": camid, "img_paths": img_path,

fast-reid复现(market1501)

12-04

通过以上步骤，可以使用fast-reid成功地复现市场1501数据集，实现高效准确的行人识别。同时，fast-reid还提供了可视化工具和实验记录功能，可以帮助用户更好地理解和分析模型训练过程，进一步优化模型性能。