环境配置
文章平均质量分 77
记录本地,服务器的一些python深度学习的环境配置
彭祥.
本科专业软件开发,主为 Java编程,如Spring、SpringBoot等;研究生期间主修图像目标检测,对DETR、YOLO等目标检测方法具有较深入研究,并对图像分类、实例分割、目标追踪等计算机视觉任务有一定研究经验。
展开
-
ubuntu配置conda环境
博主最近新换了电脑,原本的笔记本便被打入了冷宫,后来想到这个电脑也不能浪费,因此想着把原本的电脑重装一下,博主装了个双系统,分别是window10与ubuntu,今天便拿ubuntu系统练下手。由于博主装的ubuntu是22.04版本,而只有cuda11.8后才有对应的版本,因此便只能安装11.8这个版本了。查看安装的系统,发现好像与自己要求的版本不符。但好歹安上了,先试验一下吧。重启后可以看到驱动安装成功了。首先安装nvidia驱动。原创 2024-02-06 16:13:26 · 1065 阅读 · 0 评论 -
CFINet模型调试记录
CFINet是基于MMDetection框架开发的一款由粗略到精细的两阶段目标检测算法,该算法是在Faster-RCNN模型基础上实现的,下面开始其调试过程。原创 2024-01-19 00:04:22 · 1603 阅读 · 4 评论 -
Paddle训练COCO-stuff数据集学习记录
警告提醒,据说是该设计在paddle2.6已经被弃用了,但该警告其实并不影响实验进程,只是看着不舒服而已,那就不看好了。2.4.0的是可以的。报错1:这个问题令我感到困惑,因为先前已经用该环境训练过cityspces数据集,但还是重新又部署了一下环境,但依旧出错,最后发现是由于博主的数据集类别设置错误导致的,这实在是令人匪夷所思。似乎是之前博主修改了metrics.py文件导致的,但好像并不是,保持metrics.py文件原样即可,修改下数据集目录即可。下载完成数据集后需要生成数据集的读取文件,即。原创 2023-09-03 10:12:11 · 1175 阅读 · 0 评论 -
Paddle与AFFormer环境配置
本次重新记录一下paddle的安装过程,主要是因为在进行服务器环境初始化时没有进行正确的环境安装。原创 2023-06-08 18:34:52 · 774 阅读 · 1 评论 -
MMDetection环境配置与使用
这里我替换了数据集后,运行报错:f’class找到这个目录下的文件,修改文件里的 num_classes=2 ,修改成自己的类别数目。修改里边的def coco_classes(): ,将return内容修改成自己的类别。修改里边的,将修改成自己的类别。原创 2023-06-07 10:32:26 · 912 阅读 · 0 评论 -
MMDection学习记录(一)之环境配置
MMDetection 目标检测工具箱环境配置原创 2023-06-05 20:23:40 · 941 阅读 · 0 评论 -
SegFormer程序调试记录
随后切换到segformer目录下执行安装requirement.txt中指定的依赖。安装pytorch版本,博主使用的是pytorch1.7.0。此时基本已经完成环境配置过程,下载一个权重文件进行简单测试。安装完成后继续配置,注意一定要在segformer目录下。随后进入demo文件夹,修改下配置文件。原创 2023-04-07 22:01:02 · 1441 阅读 · 10 评论 -
Conda环境导出与导入
博主在进行实验过程中由于需要频繁更换服务器,而每次更换服务器后便少不了进行环境配置,尽管有requirement.txt的帮助,配置环境时也是需要费一番功夫。因此想到conda的环境导出与导入功能。原创 2023-03-18 11:07:38 · 3178 阅读 · 0 评论 -
NVIDIA Tesla V100部署与使用
根据实验,将batch-size设置为32依旧会爆显存,因此将其设置为24,其实在监控中可以发现,GPU可能只是在一瞬间对显存需求较大,从而造成爆显存问题,如我们在训练完第一轮后保留一些梯度信息,模型信息时会对显存需求激增,从而出错。在先前的实验过程中,使用了腾讯云提供的nvidia T4GPU,尽管其性能较博主的笔记本有了极大提升,但总感觉仍有些美中不足,因此本次博主租赁了nvidia V100 GPU,看看它的性能表现如何。和先前一样,只需要将服务器使用xshell连接我们就可以使用了。原创 2023-02-16 17:33:52 · 4224 阅读 · 1 评论 -
YOLOV7使用CADCD数据集实验记录
如何知道其是否运行完,nvidia-smi就可以了,只要GPU还用着,自然就是还没跑完喽,只不过我们不知道已经运行到哪步而已,但我们的训练得到的权重文件会告诉我们这一切的。因此开始从头考虑使用预训练模型来进行训练,先前使用的预训练模式是在ImageNet上获取的,与我的数据集差距较大,因此可以使用其他的一下预训练权重模型,这就涉及到一个概念成为迁移学习。效果很差,mAP只有10%左右。今早一看,发现服务器也停止了,看来当时服务器依旧运行只是一个假象罢了,并且考虑到从头训练太过麻烦,而且效果还十分差劲。原创 2023-02-05 11:15:09 · 868 阅读 · 1 评论 -
Anaconda安装教程与pycharm应用
分享一下安装Anaconda的过程与pycharm的应用第一项Add Anaconda 是将安装路径自动添加系统环境变量。(不用去手动添加环境变量)按照官网介绍,不勾选是因为可能影响其他软件。不勾选的话,以后要使用命令时需从开始菜单中打开Anaconda Navigator或Anaconda Prompt。然后在里面用conda等命令。优点:避免影响其他软件缺点:因为没添加,所以不能直接在cmd中运行。这里的话可以安装自己的需求来第二项...原创 2022-06-17 16:04:25 · 2966 阅读 · 1 评论 -
使用GPU运行python项目
简单科普:CPU适合串行计算,擅长逻辑控制。GPU擅长并行高强度并行计算,适用于AI算法的训练学习GPU教为侧重于运算,因此GPU常被用于一些深度学习的项目原创 2022-06-18 13:42:46 · 33874 阅读 · 5 评论 -
关于TensorFlow使用GPU加速
我们在安装tensorflow-gpu后,其运行时我们可以选定使用gpu来进行加速训练,这无疑会帮助我们加快训练脚步。原创 2022-06-26 21:28:18 · 9790 阅读 · 0 评论 -
深度学习之环境配置 jupyter notebook
今天,博主要系统的学习一下深度学习的相关内容,在此记录自己的学习过程,与大家共同进步。深度学习是一个很“玄幻”的过程,他生成的模型之所以优秀或者如何工作有时对我们人类而言是无法理解的,这里不要过度纠结。首先是环境的配置,博主之前已经安装了PyCharm和Anaconda并配置了相关环境,因此在这里只是安装了一个常用的包 d2l相关的安装教程大家可以阅读我之前的博客:Anaconda安装与PyCharm配置这个过程可能需要等几分钟,因为要安装的包有很多安装完成后,我们就开始学习吧这里使用的是jup原创 2022-07-01 12:25:15 · 6040 阅读 · 0 评论 -
python使用Tensorflow检测GPU运行与使用Pytorch
Tensorflow运行GPU程序与Pytorch实现手写数字识别原创 2022-06-18 22:18:20 · 8592 阅读 · 1 评论 -
PyTorch安装并使用gpu加速
之前的学习中,我们接触到了pytorch,当时博主考虑到自己显卡性能和CUDA版本等问题,所以安装的是cpu版本的,后来博主在学习过程中需要安装gpu版本的,因此便只能再次安装。博主这次使用的是conda安装,因为使用pip好像并不支持由于博主之前已经安装并配置好了Anoconda,所以博主只需要创建虚拟空间后安装即可激活虚拟环境pytorch各版本安装博主使用的是cuda8,即对应下面这条安装语句安装成功我们回到我们的pycharm中看一下:pytorch判断gpu是否可用,测试原创 2022-06-27 19:10:29 · 3143 阅读 · 0 评论 -
GPU云服务器CentOS环境下的配置教程
CentOS环境下GPU部署原创 2023-02-02 23:26:26 · 884 阅读 · 0 评论 -
YOLO项目服务器配置及云硬盘挂载问题
依次执行就可以,本次博主又换了一个服务器,这次在安装过程中遇到了一些问题,最终也解决了,实验数据集换成了CADCD,输入尺寸为1280x1024,很明显此时的显存占用要比640x640的大了很多,下面是本次GPU使用情况:batch-size为16,迭代次数为200次。在使用这个服务器的过程中意识到每次更换服务器需要重新上传项目和数据集,这让人很苦恼,因此可以采用加装一个云硬盘的方式,这样就不需如此频繁更换了,然而也是刚刚意识到该问题,博主的GPU服务器是硅谷二区的,但并未找到可用区的硬盘,呜呜呜。原创 2023-02-02 10:08:02 · 1549 阅读 · 0 评论 -
腾讯云GPU服务器环境部署与连接配置
先前博主购买了腾讯云的GPU服务器后,发现上面预装的环境存在一些问题,因此便来重新部署一下。为了操作方便,博主这里使用了一个远程控制端软件:Xshell博主在初始化时已经安装过pytorch了,我们首先看看安装的路径。原创 2023-01-20 10:40:55 · 1813 阅读 · 0 评论 -
Git学习笔记
Git作为一款分布式版本控制工具,在我们的日常生活中起到了巨大的作用。何为版本控制:举一个简单例子,我们的在做一个设计方案时会经过多次整改,而我们将每一版文档都保存我们的电脑上,这就是一个本地版本控制。原创 2023-01-29 18:13:29 · 3054 阅读 · 0 评论 -
GPU服务器之Colab配置及使用教程
最方便的一点是,在复现其他研究者的工作时,如果dataset通过Google Drive链接分享,我们可以将一键转存到我们的Google Drive中,避免长时间的大文件下载和上传。在进行深度学习过程中,不可避免需要进行炼丹的操作,而博主的电脑本身性能就很拉跨,一旦再运行其他的应用便是寸步难行,最好的办法便是再买一台,哈哈哈,当然也可以使用一些云服务器来进行,博主这里选择的是Colab,接下来便是配置环境过程。没有报错就是成功,然后我们的.py文件是不能直接运行的,可以以下命令运行。原创 2023-01-02 18:05:51 · 4747 阅读 · 0 评论 -
云GPU服务器部署及pycharm远程连接
我们在之前使用CoLab来运行项目,但其存在时长限制问题所以并不是很理想,今天博主发现腾讯云服务目前在搞活动,比较实惠,便买了一台来体验一下。直接搜索gpu服务器租用即可找到。原创 2023-01-19 12:19:41 · 2539 阅读 · 0 评论