Conda and Cuda and Cudnn 環境建置與指令分享

常用的指令來做一個分享 ，最終還是需要自身需求做調整

此篇尚未完善，純做紀錄 待補 ~~~ 有錯誤請留言評論

 -----------------------------------------------------------------------

1. 安裝 Anaconda

    載點 : https://www.anaconda.com/products/individual

-----------------------------------------------------------------------

 2. CUDA 下載與安裝 

 CUDA Toolkit and Corresponding Driver Versions 對照表

    網址 : https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html
    
 CUDA AND CUDNN 對照表

    網址 : https://www.tensorflow.org/install/source_windows?hl=zh-tw

 CUDA 下載

    載點 : https://developer.nvidia.com/accelerated-computing-toolkit

 CUDNN 下載

    載點 : https://developer.nvidia.com/cudnn
    
 Sqlite DLL 下載

    載點 : https://sqlite.org/download.html

-----------------------------------------------------------------------

 3. 設置環境變數

 Torch cuda 安裝

    pip install torch torchvision torchaudio --pre --extra-index-url https://download.pytorch.org/whl/nightly/cu116    #cuda 11.6
-----------------------------------------------------------------------    
    pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117      

-----------------------------------------------------------------------

 CUDA Cudnn 環境變數設置路徑 (系統變數 Path)

    C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.4\bin

    C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.4\libnvvp

    C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.4\extras\CUPTI\lib64

    C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.4\cudnn\bin

    C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\bin

    C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\libnvvp

    C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\extras\CUPTI\lib64

    C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\cudnn\bin

-----------------------------------------------------------------------

 Anaconda 預設環境變數設置路徑 (系統變數 Path)

    C:\ProgramData\Anaconda3

    C:\ProgramData\Anaconda3\Library\mingw-w64\bin

    C:\ProgramData\Anaconda3\Library\usr\bin

    C:\ProgramData\Anaconda3\Library\bin

    C:\ProgramData\Anaconda3\Scripts

-----------------------------------------------------------------------

 Anaconda 虛擬環境 變數設置 

    C:\ProgramData\Anaconda3\envs
  
    C:\ProgramData\Anaconda3\envs\tf_face\Library\bin

    C:\ProgramData\Anaconda3\envs\tf_face\Library\mingw-w64\bin

    C:\ProgramData\Anaconda3\envs\tf_face\Scripts

-----------------------------------------------------------------------
    
 linux添加 conda 環境變數

sudo su

export PATH=~/anaconda3/bin:$PATH (可變)

source /etc/profile

-----------------------------------------------------------------------

Graphviz 安裝 與 變數設置

載點 : https://graphviz.org/

C:\Program Files\Graphviz\bin

-----------------------------------------------------------------------

 4. CUDA 安裝檢測


-----------------------------------------------------------------------

 5.檢查Nvidia 驅動版本路徑與方法

舊版路徑:

C:\Program Files\NVIDIA Corporation\NVSMI (可加入系統Path)

新版:


-----------------------------------------------------------------------

 6. 指令說明

 查詢套件可用版本

    conda search --full xxxx

 安裝指令

    conda install -c anaconda tensorflow==2.5.0 tensorflow-gpu==2.5.0 matplotlib searborn

 查詢建置的虛擬環境

    conda env list

 備份 Anaconda 虛擬環境

    conda env export > 環境名稱.yaml

 還原 Anaconda 虛擬環境

    conda env create -f 環境名稱.yaml

 刪除 Anaconda 虛擬環境

    conda remove -n 環境名稱 --all

 建置虛擬環境名稱與版本

    conda create --name myenv python=3.5

 啟動虛擬環境

    conda activate xxxx

 刪除虛擬環境 package

    conda remove --name myenv numpy

 離開虛擬環境

    deactivate
    
 克隆新環境

    conda create --name <NewName> --clone <OldName>
    
    conda remove --name old_name --all

 檢測變數設置是否成功

    nvcc -V

 查詢conda 安裝套件清單

    conda list

 核心建立 套件 ipykernel

    conda install ipykernel

 Anaconda kernel 寫入

    python -m ipykernel install --user --name 環境名稱 --display-name "Python (環境名稱)"

 刪除kernel環境

    jupyter kernelspec remove xxxx

 查詢pip 安裝套件清單

    pip list

 conda 安裝套件

    conda install xxxxx

 conda 離線安裝

    conda install --offline ./xxxxxxxxxxx.tar.bz2

 pip 安裝套件

    pip install xxxxx
    
    pip install -r requirements.txt

 恢复預設URL來源

    conda config --remove-key channels

-----------------------------------------------------------------------

 7. Tensorflow 1.15 PyPi 網址補充

    https://pypi.org/project/tensorflow/1.15.0/#files

    https://pypi.org/project/tensorflow-gpu/1.15.0/#files

-----------------------------------------------------------------------

8. pip 安裝 Pytorch CUDA

pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu116

 8.1 Tensorflow

    config = tf.ConfigProto()
    config.gpu_options.per_process_gpu_memory_fraction = 0.4
    session = tf.Session(config=config, ...)

8.2 Keras

    import tensorflow as tf
    from keras.backend.tensorflow_backend import set_session
    config = tf.ConfigProto()
    config.gpu_options.per_process_gpu_memory_fraction = 0.3
    set_session(tf.Session(config=config))
    
 8.3 Theano後台限制顯存：

    用戶在自己home跟目錄建立 .theanorc文件（注意這個文件默認不存在，且文件名前面有個點）
    
    [global]
    floatX = float32
    device = gpu0
    optimizer_including = cudnn

    [lib]
    cnmem = 0.3

    [cuda]
    root = /usr/local/cuda/

-----------------------------------------------------------------------

 9. Tensorflow 1.15 安裝指令

    conda install tensorflow == 1.15.0 tensorflow-gpu == 1.15.0 tensorboard == 1.15.0 tensorflow-estimator == 1.15.1 keras == 2.3.1 numpy == 1.18.5 pydot python-graphviz graphviz scikit-learn seaborn matplotlib