anaconda构建深度学习环境

环境变量文件
~/.bash_profile
~/.bashrc

一、安装Anaconda。
在命令行输入,下载anaconda。

wget https://repo.continuum.io/archive/Anaconda3-5.0.1-Linux-x86_64.sh

下载之后,运行

1
bash Anaconda3-5.0.1-Linux-x86_64.sh

即可执行安装,如果提示默认时yes,直接执行即可。但是在最后一步时,默认操作时No,该步是让你确认是否将anaconda加入环境,需要选择yes。如果不幸选了No,需要执行以下命令:

1
2
export PATH=/home/(your_user_name)/anaconda3/bin:$PATH
source .bashrc

安装之后,会在安装目录下生成anaconda的文件夹。之后所安装的虚拟环境均存在env文件夹中。

测试是否安装成功。

使其生效:source ~/.bashrc

conda --version

使其生效:source ~/.bashrc

打印验证:echo ~/.bashrc

如果显示conda版本,则说明安装成功。

查看当前存在哪些环境

conda env list

创建新的虚拟环境。

conda create -n your_env_name python=X.X(2.7、3.6等)

激活虚拟环境。在你使用环境之前,需要激活。

source activate your_env_name

安装各种所需python包。

pip install package_name

(如果你创建的是python3.x的环境,也直接使用pip,不要使用pip3。因为此时的pip3可能会直接安装至你的系统环境里。)

关闭虚拟环境。当你使用完毕,需要关闭虚拟环境。

source deactivate

删除虚拟环境。

conda remove -n your_env_name --all

共享环境:将当前使用的环境中所包含的python包的名称进行打包。

conda env export > 文件名.yaml

载入别人共享的环境。

conda env update -f=/path/文件名.yml

二、安装深度学习
pytorch(1.0.1),torchvision(0.2.2)

1.3 使用pip安装
pip install torch-1.0.0-cp36-cp36m-win_amd64.whl

torch 1.0.0 对应的torchvision的版本为0.2.0

pip install torchvision==0.2.0

验证gpu版本是否安装成功
检测程序如下:

import torch

print(torch.version)
print(torch.cuda.is_available())

下面是具体步骤:

1,添加conda的清华镜像源

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --set show_channel_urls yes
2,安装tensorflow

conda install tensorflow-gpu==1.11 #如果不指定版本,默认下载最新版
3,安装pytorch

conda install pytorch torchvision cuda80 -c pytorch # 这是官网给的命令
改成清华镜像源

conda install pytorch torchvision cuda80 -c channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
也可以不指定channel,也会使用清华源。

很简单吧。

验证tensorflow装是否可以正常使用

import tensorflow as tf

x = tf.constant{[1.0])

sess = tf.Session()

print(sess.run(x))

验证pytorch安装是否可以正常使用

import torch

x = torch.Tensor([1.0])
print(x)

y = x.cuda()
print(y)

from torch.backends import cudnn
print(cudnn.is_acceptable(y)) # 输入为True

三、安装open3d

安装open3d
conda install -c open3d-admin open3d
问题解决:ImportError: /lib64/libm.so.6: version `GLIBC_2.27’ not found (required by /home
卸载重装
查看安装的open3d

conda list

卸载原来的open3d

conda uninstall open3d
参考教程:.ImportError: /lib64/libm.so.6: version `GLIBC_2.27‘ not found(对我不管用)

conda install -c open3d-admin open3d==0.9

出现错误:
CondaHTTPError: HTTP 000 CONNECTION FAILED for url <https://conda.anaconda.org/open3d-admin/linux-6

解决方法:
Pip安装

pip install open3d-python -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

四、conda环境中安装OpenCV
在conda环境中通过下面的命令一键式安装OpenCV
conda install -c https://conda.binstar.org/menpo opencv

五、安装yacs==0.1.8
https://blog.csdn.net/m0_37167788/article/details/109217091

yacs介绍、安装、使用
1.yacs介绍
yacs的作者大名鼎鼎的Ross Girshick,faster-rcnn的作者。github地址:https://github.com/rbgirshick/yacs

yacs是一个轻量级用于定义和管理系统配置的开源库,是科学实验软件中常用的参数配置。在机器学习、深度学习模型训练过程中的超参数配置(卷积神经网络的深度,初始学习率等)。科学实验的重现性至关重要,因此,需要记录实验过程中的参数设置,以达到后期进行实验的重现。yacs使用一种简单的,可读的yaml格式。

2.yacs安装
git clone https://github.com/rbgirshick/yacs.git
python setup.py install

3.yacs使用
3.1 建立可配置参数文件并设置默认值
建立可配置文件,通常命名为config.py或者default.py,该文件包含了所有可配置的参数,并为每个参数设置了默认值。

config.py

from yacs.config import CfgNode as CN

_C=CN()
_C.SYSTEM=CN()
_C.SYSTEM.NUM_GPUS = 8
_C.SYSTEM.NUM_WORKERS = 4

_C.TRAIN = CN()
_C.TRAIN.HYPERPARAMETER_1 = 0.1
_C.TRAIN.SCALES = (2, 4, 8, 16)

def get_cfg_defaults():
return _C.clone() #局部变量使用形式

cfg = _C

3.2 创建yaml配置文件
通常情况下,为每个实验建立一个yaml文件,每个配置文件中仅包含该实验中正在修改的选项。

config.yaml

SYSTEM:
NUM_GPUS: 2
TRAIN:
SCALES: (1, 2)

3.3 使用配置文件
进行初始设置以后,使用freeze()函数将设置值冻结,防止配置信息被修改。如下,可以通过直接导入cfg作为全局变量进行访问,也可以将cfg的复制作为参数进行传递,这种使用为cfg作为局部变量使用。

main.py

#from config import get_cfg_defaults #局部变量
from config import cfg

if name == “main”:
#cfg = get_cfg_defaults() #局部变量使用
cfg.merge_from_file(“config.yaml”)
cfg.freeze()

cfg2 = cfg.clone()
cfg2.defrost()
cfg2.TRAIN.SCALES = (8, 32, 64)
cfg2.freeze()

print("cfg:")
print(cfg)
print("cfg2:")
print(cfg2)

输出结果为:

cfg:
SYSTEM:
NUM_GPUS: 2
NUM_WORKERS: 4
TRAIN:
HYPERPARAMETER_1: 0.1
SCALES: (1, 2)
cfg2:
SYSTEM:
NUM_GPUS: 2
NUM_WORKERS: 4
TRAIN:
HYPERPARAMETER_1: 0.1
SCALES: (8, 32, 64)

六、conda安装glog,imgaug

直接安装:

sudo apt-get -y --force-yes install libgoogle-glog-dev
或者下载编译:

git clone https://github.com/google/glog

七、安装imgaug

Command “python setup.py egg_info” failed with error code 1 in /tmp/pip-build-*解决办法

pip3 install --upgrade pip

八、安装imgaug

sudo pip3 install git+https://github.com/aleju/imgaug

九、 安装cuda
https://zhuanlan.zhihu.com/p/79059379

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值