游戏本安装双系统ubutnu18.04搭建深度学习环境

最新推荐文章于 2023-09-27 16:37:21 发布

weixin_34375054

最新推荐文章于 2023-09-27 16:37:21 发布

阅读量587

点赞数

文章标签：开发工具 python 人工智能

原文链接：https://my.oschina.net/u/3726752/blog/1941850

版权

2019独角兽企业重金招聘Python工程师标准>>>

游戏本装双系统:
在256G固态上有个win10,
计算机->右键->管理->磁盘管理->c盘右键->压缩卷->压缩最大值
大概压缩出一半空间,用来装Ubuntu,压缩出来的空间不要分区
U盘制作linux启动盘,进入电脑BIOS设置U盘启动,插入优盘,重启电脑,出现英文的"尝试使用"以及"直接安装",选择直接安装,然后选项是第一个在windows旁边安装,其他分区什么的不用什么设置,只用设置一下时区,密码什么的.

进入系统后需要设置一些选项,安装搜狗输入法,pycharm,htop,火狐浏览器,谷歌浏览器,
桌面或者win+A找到 Software Updater 打开,点击面板上的Ubuntu Software,中间位置有个Download from,点击选择Other,在弹出的窗口右侧点击Select Best Server 则会自动测试选择适合你当前网络的软件来源,这样以后下载安装软件比较快速.
搜狗输入法时用起来比较舒服的中文输入法,安装方法如下:
首先需要安装fcitx,
可以用命令行下载安装,
亦可以点击桌面上的Ubuntu Software,点击All->点击右边的放大镜搜索->输入fcitx 进行下载 然后点击install,(pycharm 亦可以这样安装!)
安装fcitx完成后,去搜狗官网(https://pinyin.sogou.com/linux/?r=pinyin)下载输入法的deb文件,双击安装,然后win+A找到Language Support 打开,点击下面的IBus换成fcitx,如果没有fcitx则是因为没安装成功,需要重新安装,换成fcitx后,重启电脑,右键右上角的小键盘或者显示的输入法图标,点击Configure,Input Method,点击左下角的加号,点击上Only Show Current Language前面的勾,然后搜索sogou,将sogou Pinyin添加进去,就可以了,切换输入法的快捷键设置,就在添加Input Method 右边的Global Config里面,第一个点击后按下要设置的快捷键按键即可.
然后是安装其他需要软件,
ubuntu小工具:htop 可以实时观察系统内存,处理器使用情况等,
beyond bompare 可以高亮两个文件不同的地方,对代码改动,数据分析很有帮助.

NVIDIA 显卡驱动安装
深度学习环境需要显卡支持,显然需要安装显卡驱动
cuda安装
显卡最初是为显示图像服务的,具有强大的并行计算能力,显卡驱动也是为计算机驱动显卡计算显示图像的,但是并没有提供方便人直接使用的接口,cuda是NVDIA公司特意开发的供用户方便调用显卡进行计算的平台,个人理解为一个中间层,用户的程序不可能像驱动程序一样那么详细的命令调用IO口,数据传输计算等,这些由cuda面向底层做好了,面向用户的是一个人性化的平台,仅需要一些函数命令接口可以实现调用GPU进行运算.
cuDNN安装
cuda方便用户调用GPU进行计算,但是不仅是深度学习用户才用显卡计算,cuda可以供多职业的用户调用GPU运算,那么cuDNN则是在cuda的基础上对深度学习更进一步的专注和优化,相当于针对深度学习的特点,将cuda上的一些指令函数等进一步封装,方便深度学习用户的快捷使用.只是供深度学习领域的使用.

搭建环境：
参考博文为：https://blog.csdn.net/cskywit/article/details/81146429（帮助很大）

一、安装NVIDIA驱动
1.卸载原有NVIDIA驱动
sudo apt-get remove --purge nvidia*
或者：
sudo chmod +x *.run 
sudo ./NVIDIA-Linux-XXXXXX.run –uninstall #改成自己的旧驱动版本
2.禁用nouveau驱动
sudo gedit /etc/modprobe.d/blacklist.conf
在末尾添加:
blacklist nouveau
然后执行：sudo update-initramfs -u
重启进入命令行界面后执行：lsmod | grep nouveau。
如果没有屏幕输出，说明禁用nouveau成功。注意此步需要在命令行下执行。
3.命令行安装驱动
确定自己所需要安装的驱动版本：
ubuntu-drivers devices
可以看到有目前可以安装的驱动:
driver   : nvidia-driver-390 - distro non-free recommended
driver   : xserver-xorg-video-nouveau - distro free builtin
安装推荐的390：
sudo apt install nvidia-driver-390
安装完毕使用命令nvidia-smi会出现显卡信息。
4. perform mok management（不一定会出现，但是我安装时出现了）
安装完显卡驱动后，系统需要重启加载驱动，注意如果按照上述流程进行驱动安装，那在重启系统时，会出现一个蓝色背景的界面 perform mok management , 我在这一步选错了，卡在这很久，终于找到正确的做法如下： 
(1)当进入蓝色背景的界面perform mok management 后，选择 enroll mok , 
(2)进入enroll mok 界面，选择 continue , 
(3)进入enroll the key 界面，选择 yes , 
(4)接下来输入你在安装驱动时输入的密码， 
(5)之后会跳到蓝色背景的界面perform mok management 选择第一个 reboot
这样，重启后N卡驱动就加载了。可以在系统信息处看到显卡已经是独立显卡。
二、安装CUDA9.0
下载地址：https://developer.nvidia.com/cuda-zone
注意：tensorflow对CUDA的版本有要求，见https://github.com/mind/wheels
1、GCC降级
由于CUDA 9.0仅支持GCC 6.0及以下版本，而Ubuntu 18.04预装GCC版本为7.3，故手动进行降级：
sudo apt-get install gcc-4.8 
sudo apt-get install g++-4.8
装完后进入到/usr/bin目录下 
  $ls -l gcc* 
会显示以下结果
lrwxrwxrwx 1 root root 7th May 16 18:16 /usr/bin/gcc -> gcc-7.3
发现gcc链接到gcc-7.0, 需要将它改为链接到gcc-4.8，方法如下:
sudo mv gcc gcc.bak #备份 
sudo ln -s gcc-4.8 gcc #重新链接
同理，对g++也做同样的修改：
ls -l g++* 
lrwxrwxrwx 1 root root 7th May 15:17 g++ -> g++-7.3
需要将g++链接改为g++-4.8:
sudo mv g++ g++.bak 
sudo ln -s g++-4.8 g++
再查看gcc和g++版本号：
gcc -v g++ -v
均显示gcc version 4.8 ，说明gcc 4.8安装成功
2、安装cuda及其补丁
先安装Base Insataller:
sudo sh cuda_9.0.176_384.81_linux.run
需要注意的是，之前已经安装过显卡驱动程序，故在提问是否安装显卡驱动时选择no,其他 选择默认路径或者yes即可。然后，继续执行以下操作安装3个 patch ：（我安装时有四个了）
sudo sh cuda_9.0.176.1_linux.run
sudo sh cuda_9.1. 176.2_linux.run
sudo sh cuda_9.1. 176.3_linux.run
配置环境变量：
cd  ~
sudo gedit .bashrc
在末尾添加以下路径：（路径千万不要整错）
export PATH=/usr/local/cuda-9.0/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda9.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
更新路径：
source .bashrc
3、安装其依赖的库：
sudo apt-get install python-pip python-dev
sudo apt-get install freeglut3-dev build-essential libx11-dev libxmu-dev libxi-dev libgl1-mesa-glx libglu1-mesa libglu1-mesa-dev
4、测试：
cd /usr/local/cuda-8.0/samples/1_Utilities/deviceQuery
sudo make
./deviceQuery
cd ../bandwidthTest
sudo make
./bandwidthTest
三.安装cuDNN
1、安装
下载地址：https://developer.nvidia.com/cudnn，需要简单注册（免费），下载对应的cuDNN，我这里下载的是cuDNN v7.1.4[May 16,2018],for CUDA 9.0，选择其下的cuDNN v7.1.4 Library for Linux。解压后的文件夹名字为CUDA，复制到CUDA的安装目录/usr/local/cuda下。（确实需要注册）

tar -xzvf cudnn-9.0-linux-x64-v7.tgz
sudo cp cuda/include/cudnn.h /usr/local/cuda/include
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn.h
2、测试
安装Freeimage
在我们验证cuDNN之前，我们必须首先安装freeimage lilbray作为ministCUDNN示例代码的依赖关系。否则，会有提示要求我们正确设置Freeimage。
sudo apt-get install libfreeimage3 libfreeimage-dev
验证cuDNN安装
cp -r /usr/src/cudnn_samples_v7/ $HOME
cd $HOME/cudnn_samples_v7/mnistCUDNN
make clean && make
./mnistCUDNN
如果一切正常，我们可以得到我们的结果 - “测试通过！”

后面的没怎么参考原博客的，直接安装的tensorflow-GPU,又报错
tensorlfow错误mortError: libcusolver.so.8.0: cannot open shared object file: No such file or directory
看你安装版本，有时是9.0甚至7.0，试了很多办法，应该是找不到路径的问题
最后在命令行输入：export LD_LIBRARY_PATH=/usr/local/cuda/lib64/
回车就可以了（应该要改成你自己的路径）

用某神经网络代码在tensorflow和tensorflow-Gpu上测试：游戏本的GTX1060并行运行的速度是笔记本新版intel八代i7CPU（6核12线程）并行的7倍左右，而该笔记本的CPU是我工作使用的台式机的速度的两倍（intel四核i5）,还是台式机给力，笔记本发热确实厉害,有条件还是上台式机吧。

补充：后来环境又不可用了，重新安装了nvidia驱动，gcc,g++版本不知为何变为7.几，又调回4.8，然后重新设置一下export LD_LIBRARY_PATH=/usr/local/cuda/lib64/，又愉快的开跑了，跑了一个seq2seq,工作台式机i5跑了1000秒多一点，笔记本i7cpu跑了740多秒，用显卡gtx1060只用140多秒，看的见的进度条速度变快，期待以后有机会用用1080或者泰坦，不知道新出的20系列怎么样，哈哈

转载于:https://my.oschina.net/u/3726752/blog/1941850