深度学习
文章平均质量分 72
进击De小火柴
这个作者很懒,什么都没留下…
展开
-
Tensorflow模型保存与预测
tensorflow 模型保存为savedModel形式,包括Estimator和Keras形式训练和导出得到,用于后续测试和模型部署原创 2022-02-04 14:28:11 · 7146 阅读 · 0 评论 -
Linux环境下安装C++深度学习库Dlib及CUDA的安装与配置
Dlib是一个基于C++的机器学习/深度学习开源库,具有完整、丰富的文档说明,同时提供C++和python接口。本文完整地介绍如何安装配置CUDA和cuDNN相关环境1. 服务器环境Ubuntu 18.04 gcc 7.5.0 g++ 7.5.0 cmake 3.20.1由于是C++项目,Dlib编译需要用到cmake,服务器上应该没有默认安装,需要自己先装一下。2. CUDA和cuDNN安装(非root用户)很多同学都是实验室服务器,建议以非Root形式安装在当前用户目录中,这原创 2021-04-17 11:17:04 · 2501 阅读 · 0 评论 -
服务器配置个人深度学习环境(Conda + Pytorch-GPU)
实验室的深度学习服务器通常多个学生公用,通常是采用分用户配合conda虚拟环境管理的方式来实现环境的独立和互不干扰。接下来介绍一下在分到一个新的服务器账户后,配置自己的个人环境。一、安装Aanaconda二、建立虚拟环境三、安装Pytorch及其他常用库...原创 2020-09-23 21:51:56 · 5861 阅读 · 1 评论 -
Pytorch多进程Queue通信产生Segmentation fault (core dumped)——解决方案及代码规范
最近在做一个强化学习的项目,运用多进程分布训练时遇到了段错误的问题,这里记录下解决的过程思路和方案。由于智能体与环境交互的过程涉及到了第三方的程序以及大量的文件读写操作,使得整个实验过程非常慢,为了解决交互部分的速度瓶颈,采用Ape-X( Distributed Prioritized Experience Replay)的分布式训练思路,即多个actor负责与环境交互,得到的交互数据存储到公共replay memory中,一个leaner负责从memory中抽样训练更新网络。由于Pytorch在多原创 2020-07-19 17:56:01 · 2341 阅读 · 0 评论 -
Conda安装pytorch等库时下载速度慢的解决方案(离线下载)
Pytorch作为主流的深度学习框架,已经成为了许多同学们干活炼丹的标配,当我们分配到一个服务器的个人账号,可能环境里没有预装好pytorch或版本过低,这时候需要自己重新安装。最常用的安装方法是通过conda来安装,在pytorch的官网上找到你需要的版本,并找到下载命令。比如我要下载linux系统下的1.0.1版本,选择cuda9.0的GPU版,对应的命令为conda install pytorch==1.0.1 torchvision==0.2.2 cudatoolkit=9.0 -c原创 2020-07-09 20:51:25 · 7131 阅读 · 1 评论 -
Pytorch 如何将代码升级到0.4 版本
Pytorch更新到0.4后,有一些比较重大的更新,也开始支持Windows系统,可以说是许多人的福音了。而原先0.2 0.3版本的代码需要稍微修改一下才能继续用主要变化1.Variable并入Tensor无需再import torch.autograd.Variable,Tensor直接可以计算梯度(当然使用继续使用Variable并没有关系,用法功能都同往常,除了返回对象变...原创 2018-08-11 17:10:27 · 4715 阅读 · 0 评论 -
Pytorch版faster rcnn的安装、配置与测试
Pytorch作为一个较新的开源框架,十分简洁好用,完全不亚于Tensorflow等成熟框架。最近在学习Faster R-CNN, 发现Pytorch版本的资料不多,所以在这里记录与分享下自己安装配置Pytorch版本的faster cnn的过程。过程是搬运+翻译的说明文档,增加了一些细节性的东西和报错解决。这里我用的是github上ruotianluo开源的代码:pytorch-fast...原创 2018-08-10 20:25:19 · 15449 阅读 · 42 评论 -
Pytorch深度学习:TypeError: 'builtin_function_or_method' object is not iterable 报错解决
在用Pytorch做图像分类的时候,遇到了这个BUG,因为这段代码和网上例子一样仍报错,所以很奇怪。现将解决方案记录分享TypeError: 'builtin_function_or_method' object is not iterable先贴上我报错部分和相关代码import torchimport torch.utils.data as Dataimport tor...原创 2018-07-16 16:30:19 · 30453 阅读 · 1 评论 -
Pytorch迁移学习加载部分预训练权重
迁移学习在图像分类领域非常常见,利用在超大数据集上训练得到的网络权重,迁移到自己的数据上进行训练可以节约大量的训练时间,降低欠拟合/过拟合的风险。如果用原生网络进行迁移学习非常简单,其核心是model.load_state_dict()以Pytorch中官方提供的Resnet加载预训练权重的代码为例:model = ResNet(Bottleneck, [3, 4, 6, 3]...原创 2019-03-16 15:18:41 · 16756 阅读 · 7 评论