文件路径相关
查询torch相关所有包的版本
**
**
conda list torch
#获得当前的文件路径
os.getcwd()
#'E:\\workspace\\PythonTest\\itgApp_test'
- 用tensorboard查看日志文件,从而看到训练额损失图
tensorboard --logdir 1.2_practice/saved_log
#tensorboard --logdir 相对于目前这个cmd来说的,日志文件的相对路径
如何新建虚拟环境,从头配置一个torch训练环境?
conda新建环境
# conda create -n your_env_name python=X.X(2.7、3.6等)
conda create -n torch_cpu_171 python=3.7
jupyter相关的操作
添加进jupyter 的kernel
将刚刚新建的虚拟环境,添加进jupyter 的kernel
# 1.首先进入虚拟环境,安装ipykernel
pip install ipykernel
# 2.添加虚拟环境kernel
python -m ipykernel install --user --name envname
# 查看当前可用的虚拟环境内核
jupyter kernelspec list
# 删除kernel
jupyter kernelspec remove envname
方法2:
conda install ipykernel
pip install jupyter
conda install nb_conda
nbextension的安装
# 安装nbextensions
pip install jupyter_contrib_nbextensions
jupyter contrib nbextension install --user
# 安装nbextensions_configurator
逐个安装包,几个包是被依赖的,所以需要优先装
#要想安装这个版本的它:allennlp==2.0.0,必须先安装torchvision==0.8.1,这个版本的torchvision在国内的源以及Pipi的网站上都没有,要想安装有下载这种方法。这种方式用 -c,其实是从Anaconda.org的网站上下载下来的
conda install -c pytorch torchvision==0.8.1
# 这个过程里,上面这行代码一并把torch也给安装了,不过是1.7.0版本的,这个就不纠结了,过了
torch==1.7.1
#剩下的逐一安装
allennlp==2.0.0
matplotlib==3.3.3
scikit-learn==0.24.1
torch==1.7.1
transformers==4.2.2
textbrewer==0.2.1.post1
neo4j-driver==4.3.4
tensorboardX==2.4
tqdm~=4.62.0
neo4j~=4.3.4
pycharme选择这个虚拟环境下的interpreter,就可以在pycharme里运行代码了
*Conda的常用用法*
conda 恢复默认源
conda config --remove-key channels
所有和镜像网址相关的
添加国内镜像源网址
查询已有的channel
*conda config --show channels*
*conda config --show-sources*
前面通过conda的这个命令添加源进去
#清华
*conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/*
*conda config --add channels* *https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/*
*conda config --add channels* *https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro*
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
#上海交大
conda config --add channels https://anaconda.mirrors.sjtug.sjtu.edu.cn/pkgs/main
conda config --add channels https://anaconda.mirrors.sjtug.sjtu.edu.cn/pkgs/r
conda config --add channels https://anaconda.mirrors.sjtug.sjtu.edu.cn/cloud/
#中科大
*conda config --add channels* *https://mirrors.ustc.edu.cn/anaconda/pkgs/free/*
*conda config --add channels* *https://mirrors.ustc.edu.cn/anaconda/pkgs/main/*
*conda config --add channels* *https://mirrors.ustc.edu.cn/anaconda/cloud/conda-forge/*
*conda config --add channels*
*Python官方源:* *pypi.python.org/pypi/*
*豆瓣:**http://pypi.douban.com/simple/*
*https://pypi.douban.com/simple/*
*加利福尼亚大学:**https://www.lfd.uci.edu/~gohlke/pythonlibs/*
*中国科技大学:* *https://mirrors.ustc.edu.cn/pypi/web/simple*
*阿里:**https://mirrors.aliyun.com/pypi/simple/*
最后一定要加一句,允许通过网站下载
*conda config --set show_channel_urls yes*
移除channel
*conda config --remove channels* *https://anaconda.mirrors.sjtug.sjtu.edu.cn/cloud/*
如何指定conda从美国那个anconda的网站上下载包,而不是从国内下载,
-c代表从这个网站下载(https://anaconda.org/),
pytorch代表从这个网站的pytorch文件夹里面寻找torchvision这个安装包(https://anaconda.org/pytorch/torchvision),并且可以指定版本
conda install -c pytorch torchvision==0.8.1
有一些包在国内的镜像网站是没有资源可以下载,可以来anaconda的这个网站搜索到了,然后用上面这个-c的方式下载
也可以在pip下载过程中指定从哪个网站下载
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pycryptodome
pip install -i 网站地址 包的名字
如果连接网站超时了,希望延长时间
#100可以写成1000
pip --default-time=100 install -i https://pypi.tuna.tsinghua.edu.cn/simple pycryptodome
安装过程中容易报错的包的正确安装方式
pip install allennlp==2.0.0
其他
conda新建虚拟环境
conda create -n your_env_name python=X.X(2.7、3.6等)
删除虚拟环境
conda remove -n your_env_name(虚拟环境名称) --all
查询所有conda虚拟环境的名字
conda env list
使用requirements.txt一次性安装完需要的环境
*pip install -r requirements.txt*
查看这个环境下,所有安装过的包
conda list
查看python所有安装过的虚拟环境的名字
- 退出conda虚拟环境
conda deactivate
查询自己的cuda版本
*nvcc --version*
如何用conda安装本地下载下来的这种包
cd 到这个安装包的目录下面
*conda install --use-local pytorch-1.7.1-py3.7_cuda110_cudnn8_0.tar.bz2*
Python 批量安装包、查看当前程序依赖的包(有可能用不了)
*pip freeze > requirements.txt # 查看依赖包,导入到requirements.txt*
*pip install -r requirements.txt #安装requirements.txt中所有的包*
opencv-python装不上怎么办?一个源网站没有资源,如何从另一个网站下载package
pip install scikit-build
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple opencv-python\
*Pytorch 安装*
https://pytorch.org/get-started/previous-versions/
*安装GPU对应的的cuda和cudnn*
我的显卡版本:NVIDIA GeForce GTX 1050 Ti
-1-安装NVIDIA显卡驱动
https://www.geforce.cn/drivers
-2-确定自己电脑适合的cuda版本?
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NlcHjase-1662124702950)(C:\Users\hasee\AppData\Local\Temp\ksohtml\wps4314.tmp.jpg)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yBtdBhBJ-1662124702950)(C:\Users\hasee\AppData\Local\Temp\ksohtml\wps4315.tmp.jpg)]
这里用cuda 11.0,因为pytorch要求的
-3-先装cuda,再装cudnn,二者最好版本号要一样
卸载老版本的cuda: https://blog.csdn.net/m0_37605642/article/details/99100924
历史版本:https://developer.nvidia.com/cuda-toolkit-archive
安装cuda的过程中,注意
下面三个不要选
本机如果安装了visual studio不要勾选下面的
-4-安装对应的cudnn
cudnn下载地址:https://developer.nvidia.com/rdp/cudnn-archive
解压CUDNN后,将对应的bin、lib、include与CUDA10.1对应的bin、lib、include进行合并。
-5-配置环境变量
安装完CUDA后,CUDA会自动添加到环境变量中
Path变量里面需要添加下面这些路径
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oSMuOo2F-1662124702953)(C:\Users\hasee\AppData\Local\Temp\ksohtml\wps432B.tmp.png)]
F:\Programming_software\NVIDIA_CUDA\Program Files\NVIDIA GPU Computing Toolkit\CUDA\V11.0\bin;
F:\Programming_software\NVIDIA_CUDA\Program Files\NVIDIA GPU Computing Toolkit\CUDA\V11.0\lib\x64;
F:\Programming_software\NVIDIA_CUDA\Program Files\NVIDIA GPU Computing Toolkit\CUDA\V11.0\include;
F:\Programming_software\NVIDIA_CUDA\Program Files\NVIDIA GPU Computing Toolkit\CUDA\V11.0\extras\CUPTI\libx64;
F:\Programming_software\NVIDIA_CUDA\ProgramData\NVIDIA Corporation\CUDA Samples\v11.0\bin\win64;
F:\Programming_software\NVIDIA_CUDA\ProgramData\NVIDIA Corporation\CUDA Samples\v11.0\common\lib\x64;
-6- 查询是否cuda环境是否安装成功
查询cuda版本
nvcc -V
*查询算力*
进入到下面这个目录:
F:\Programming_software\NVIDIA_CUDA\Program Files\NVIDIA GPU Computing Toolkit\CUDA\V11.0\extras\demo_suite
运行
deviceQuery.exe
VIDIA Corporation\CUDA Samples\v11.0\common\lib\x64;
-6- 查询是否cuda环境是否安装成功
查询cuda版本
nvcc -V
[外链图片转存中…(img-eltMclIO-1662124702954)]
*查询算力*
进入到下面这个目录:
F:\Programming_software\NVIDIA_CUDA\Program Files\NVIDIA GPU Computing Toolkit\CUDA\V11.0\extras\demo_suite
运行
deviceQuery.exe
[外链图片转存中…(img-qIz9PczD-1662124702954)]
conda安装包是从这几个网站下载下来的
channel URLs : https://repo.anaconda.com/pkgs/main/linux-64
https://repo.anaconda.com/pkgs/main/noarch
https://repo.anaconda.com/pkgs/r/linux-64
查看你conda的源可以通过 conda info可以查看到