小记: 赶在中秋前两天,趁着放假的时间重装了自己的电脑,以前是ununtu16.04还是2017年重装的电脑,转眼就4年过去了。近期工作上有深度学习的研究,所以决定重装下电脑。深度学习是比较热的话题,前些年特别火,近几年区域稳定发展中。百度的paddle框架很不错,部门研究了下他下边的一个全流程开发工具paddlex,部门老大说了我还不信他们能开源出来,毕竟也几年没玩了,但是看了过后感觉是真香阿。废话不多说上干货。
环境说明:
操作系统: win10 + ubuntu20.04
系统盘百度网盘地址:
链接: https://pan.baidu.com/s/1XwNTqqFUv9vpAlZWkv3gJw 提取码: g2re
UEFI控制安装在win10 上,用的EasyUEFI (你就理解是启动那个操作系统,进入就行了)
既然安装系统肯定需要制作U盘启动,使用Rufus
操作系统整体安装参考:easyuefi双系统引导_手把手教你Windows Linux双系统的安装与卸载_白尼桑塔纳的博客-CSDN博客https://blog.csdn.net/weixin_33363025/article/details/113534971?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_baidulandingword~default-0.nolandingword2&spm=1001.2101.3001.4242注意事项,制作U盘需要大于8G。剩余的操作系统空间建议不少于200G,我的是200多点。在制作完U盘之后,如果之前有ununtu的盘需要删除盘,组成200G的为分配磁盘空间,我的电脑打开,管理,磁盘管理,找到看着很像的盘,什么样子呢,就是没有盘符且不是恢复盘的几个,删掉既可。
有了启动U盘和空间,重启电脑之后按住F2 ,我是dell外星人系统,需要切换一个,Sata operation RAID ON 改 ACHI ,这块没有继续研究,如果是ubuntu我这块就必须是这个格式,有人说可以统一,我没有继续研究可以用就行了。保存重启,按住F12使用usb进入启动,语言选择可以是中文,和中文键盘,这块省的后边装输入法了,等安装完还能切换成英文。
进入安装参考上边帖子的东西,我这里在磁盘分区的时候,参考的是我17年的笔记:
1 主分区 / 40G
2 swap 逻辑 交换区 20G
3 boot 逻辑 /boot 1G
4 home 逻辑 /home 剩余所有大小
启动选择的分区就是boot对应分区,然后就一路安装。(这个过程有点长)
后边就是进入到系统系统可能会默认更新软件,等他更新重启,然后看看自己的nvidia-smi是什么情况
ubuntu20安装 paddle-gpu_段鹏飞-CSDN博客引读1、环境需求前期环境准备2、依赖以及框架安装cuda11安装nccl2.7.8的导入cudnn 8.0.4.30 导入TensorRT-7.2.0.14导入库链接3、paddlepaddle-gpu安装4、测试由于本人原因,本次没有实机演示,我会尽可能的描述清楚。 另外 初次接触,概念和想法都是我自己所理解的,路过的小伙伴一定要带自己的想法,别被我的有些错误的观念舞蹈1、环境需求本次环境本身由于之前环境的错误,我受托在一个基本所有的都处于全新的环境进行部署,所以 所有的软件系统版本都极新,科研可以https://blog.csdn.net/weixin_42097690/article/details/109100763ubuntu安装驱动和相关类库参考:下载cuda相关地址自己注册个账户可能:cuDNN Archive | NVIDIA Developerhttps://developer.nvidia.com/rdp/cudnn-archive关于驱动,我的是GTX1080,ununtu系统安装之后,不替换国内源,因为一旦替换就各种问题,选择460的驱动,或者命令安装;这里需要说的是安装完系统之后自带了一个470的驱动和cuda11.4工具包,我降级成了460和cuda11.2(因为paddle最高现在就是11.2)
我为了省事直接sudo su 变成管理员权限直接
python默认装的3.9,我设置了一个软连接,如下:
-移除已有软连接(如果有)
sudo rm -rf /usr/bin/python3
sudo rm -rf/usr/bin/python
-增加新的软连接
sudo ln -s /usr/bin/python3.9 /usr/bin/python3
sudo ln -s /usr/bin/python3.9 /usr/bin/python
cuda相关下载:
链接: https://pan.baidu.com/s/16-S7kYqiA5YvfYLkftZ5IQ 提取码: ism6
cuda_11.0.2_450.51.05_linux.run
cudnn-11.0-linux-x64-v8.0.4.30.tgz
nccl_2.7.8-1+cuda11.0_x86_64.txz
TensorRT-7.2.0.14.Ubuntu-18.04.x86_64-gnu.cuda-11.0.cudnn8.0.tar.gz
参考上边帖子安装 ,安装之后 ,nvcc -V 有就成功了cuda没错了就
paddle的话是这个命令:(post112就代表cuda11.2,咱们就是为了用GPU就这安装就对了)
python -m pip install paddlepaddle-gpu==2.1.3.post112 -f https://www.paddlepaddle.org.cn/whl/linux/mkl/avx/stable.html
百度的就参考:
安装完成后您可以使用 python
或 python3
进入python解释器,输入import paddle
,再输入 paddle.utils.run_check()
如果出现PaddlePaddle is installed successfully!
,说明您已成功安装。
paddlex安装我是直接源码安装,clone到本地之后,然后就是执行本地安装,进入到static里面把需要安装的requirements里,删除paddlepaddle-gpu,因为已经安装过了,执行 python setup.py install 安完之后pip list里面就出来了paddlex和paddlex_restful
启动的话为了调试,我直接是本地启动了paddlex_resful,command.py稍微改造了下:
def main():
# import paddlex_restful as pdxr
import restful
restful.app.run(27000, "/home/dlw/paddle/paddlex_workspace")
直接可以调试了就,牛了,在进入到浏览器查看系统,下载样例数据的时候可能报错,这就是为啥我把语言切成英文的原因,代码里面编码写的不对。
启动之后,样例数据下载后,开始找一个训练,此时可能发现是否使用GPU是【否】,这点是安装下pip install pycuda,然后默认训练,如果没有CUDA相关的错误,那就说明调用cuda没问题,但是有可能也报错,显卡内存不足等。调整batch大小就能解决了,我尝试了几次。完成训练,game over。
其他常用命令以备不时之需:
可以使用以下命令查看本机的操作系统和位数信息:
uname -m && cat /etc/*release
pip list
nvidia-smi
pip install xxx
pip uninstall xxx
ps -ax|grep python
kill -9 xxx
gedit txt
watch -n 1 nvidia-smi