【炼丹手册】炼丹环境上等马之WSL2-Ubuntu20.04+CUDA11.3+cuDNN8.9.0.131-1+PyTorch1.20.0搭建手册+查tGPT API使用踩坑

炼丹这一门在修真界存在已久。上次辉煌发生在上世纪80，90年代。笔者本科导师曾回忆，他参加过一次鼎盛时期的炼丹大会，场地在海边一字排开，连绵几百米。那次会有数万人参加。但现在连名字大家都不怎么记得了。

炼丹门的上一次衰退有多个原因。一个是kernel派的入侵，他们凭着一招无穷升维打得炼丹门措手不急。一方面上手容易，修炼不需要感受天地元气，另一方面又有一套从史前数学界偷来的泛函心法，老少皆宜。接踵而来的都是统计学习流，凸优化流，图模型流，他们凭着从数学界那里搬来的各式外门功夫迅速占领了修真界。

炼丹门因为入门困难，操作复杂，于是人员凋落，门内坚守最后的几大长老纷纷躲在极寒之地加拿大过冬。那段时期大家只要一听到“炼丹”纷纷脸色一变绕道而行。

但数年前，炼丹门大长老的得意弟子凭借一张AlexNet丹方在修仙界大擂台Imagenet竞赛上一举夺魁。随后炼丹界突破不断，全民炼丹拉开了帷幕。
李沐《炼丹简史》

作者曾在两年前接触过ubuntu+tensoflow的环境配置，当时特意买了块硬盘在上面做了个双系统，当ubuntu的标成功在电脑屏幕上点亮的时候心里也是好不得意。两年后，当我再一次想要配置环境的时候发现双系统怎么都转不出来（水平变菜），不得已求诸知乎，乎曰：

上策：装esxi，Windows和Ubuntu变成并列的两个子系统。
中策：装双系统。
下策：买专业计算卡，解锁老黄专业版gpu虚拟化驱动。
补充，感谢评论区提醒：
上策2：开启win10/11里的hyperV，使用WSL，安装Nvidia官方cuda toolkit，可以在wsl里面调用GPU cuda加速计算。
作者：大狗狗是狼
链接：https://www.zhihu.com/question/584213819/answer/2897555569
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

若说西洋人和中国人智慧的差异就在于，西洋人对一个问题往往死磕到底，而我天朝人人手一个乾坤大挪移，对于问题我惹不起还不躲不起嘛，本着这一理念，👴肯定是要采取上上策的啦。
开启win10/11里的hyperV，使用WSL，安装Nvidia官方cuda toolkit，可以在wsl里面调用GPU cuda加速计算
短短的一句话信息熵如此之丰富，作者大致分为：

1. 在windows10/11系统上开启hyperV并安装WSL2-ubuntu20.04
2. 在虚拟机中安装CUDA+cuDNN+PyTorch
3. 解决API的调用问题

安装WSL2

WSL的全称是Windows Subsystem for Linux，字面意思，就是win版linux，和我们常见的VMware相似但又不同，笔者接触过几种不同的ubuntu安装方式

• VMware虚拟机
• 双硬盘双系统
• WSL2
  一一体验过才能明白WSL2的丝滑美妙之处，主要参考了这个视频集Windows10开发环境搭建，不得不说UP主真的🐂，跟在后面做基本都能完成，这里就不细究过多
• 不过要注意OhMyZShell的安装会对之后CUDA安装产生影响。
• WSL2默认安装在C盘，可以通过move wsl来移动环境，作者就移动到了500个G的G盘

安装CUDA+cuDNN+PyTorch

安装前需要注意自己的显卡驱动+CUDA最高支持版本，输入nivdia-smi查看自己的显卡，显示出driver version和cuda version，注意这里的cuda version指的是显卡最高支持的版本号而非已经安装的版本号，我们仍需下载cuda
【记录】cuda 11.3和 cudnn对应版本的下载链接（cuda不需要科学上网，可以直接下载）
01 Pytorch和CUDA对应的版本及Pytorch和Python对应的版本及Python与Anaconda的对应关系
这里推荐选择的是CUDA11.3，因为兼容的python、显卡、pytorch、tensorflow版本非常多。不过要注意一下gcc的兼容问题。

CUDA安装

然后根据官网选择后的命令语句，进行下载（挂梯子，所以网络问题不作回答）
添加CUDA路径
配置环境变量

输入gedit ~/.bashrc命令打开文件，在文件结尾输入以下语句，保存。

export PATH=/usr/local/cuda-11.3/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-11.3/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

更新环境变量配置

source ~/.bashrc

这里报错

 / source ~/.bashrc
/root/.bashrc:13: command not found: shopt
/root/.bashrc:21: command not found: shopt
\[\e]0;\u@\h: \w\a\]\u@\h:\w$ 

原因是linux 解决 " command not found: shopt "的 “~/.bashrc” 配置问题，zsh的问题，再解决问题后输入nvcc -V命令查看cuda信息，没有问题就进行下一步

cuDNN安装

直接推荐官方网址：NVIDIA cuDNN Documentation Installation Guide (PDF) - Last updated April 12, 2023，这里我在官网下载了对应的local installer包，然后选择1.3.2. Debian Local Installation安装，在进行到第5步install the runtime library，发现找不到对应的包sudo apt-get install libcudnn8=8.x.x.x-1+cudaX.Y，这里根据另一篇回答E: 未找到“libcudnn8”的“8.x.x.x-1+cudaX.Y”版本进行操作，找到已经解压包中的对应deb文件，输入

# 根据自己的文件修改
sudo dpkg -i libcudnn8_8.0.3.33-1+cuda11.0_amd64.deb
sudo dpkg -i libcudnn8-dev_8.0.3.33-1+cuda11.0_amd64.deb
sudo dpkg -i libcudnn8-samples_8.0.3.33-1+cuda11.0_amd64.deb

成功进行5、6、7步，直接跑通得到test passed！至此cuDNN也安装完成。

PyTorch安装

最后到PyTorch官网选择对应的版本，这里笔者选择1.20.0版本，pip安装，加载完成后进入python界面，随便找个torch例程和cuda的检测例程，测试完毕后，这些就大功告成啦！

安装Openai

这里作者尝试了在WSL2上搭配openai环境，不过由于梯子和网络知识的不足没有实现，因此只能在windows上进行尝试
两个先决条件：

1. 科学上网：V-P-S或者V-P-N
2. 购买openai账号（现在注册渠道已关闭）

在API reference中找到personal account的界面，找到View API key，注意这里的secret key只有在生成的时候才会显示，因此生成后务必保存好，接着使用Documentation中的例程，获得反馈就大功告成。

注意api如果长时间无反应，大约1分钟报httpconnectionerror，那么大概率是梯子节点的问题，小概率是urllib版本的问题，输入pip install --upgrade urllib3==1.25.2降版本即可

所需知识

1. docker
2. 计算机网络和proxy知识
3. ubuntu的操作命令：deb文件安装、移动文件、权限设置
4. 操作系统的基础
5. 查tGPT的一些基础知识
6. 多多阅读MS的官方文档

所用网址

注意页面点击、搜索栏查找、previous archieve等不同版本的获取方式
cudnn
pytorch
cuda
参考例程
通过WSL2搭建Pytorch1.10+CUDA11.4+NVIDIA Driver深度学习框架全过程
在Windows11平台上使用Hyper-V、WSL与虚拟机工具——调用NVIDIA-GPU进行深度学习训练
Ubuntu 20.04安装CUDA & CUDNN 手把手带你撸
Ubuntu 20.04 CUDA&cuDNN安装方法(图文教程)