ubuntu 18.04 深度学习环境配置

最新推荐文章于 2024-09-20 16:45:12 发布

飞花丝雨

最新推荐文章于 2024-09-20 16:45:12 发布

阅读量1.1k

点赞数

本文链接：https://blog.csdn.net/doushi/article/details/104212164

版权

系统环境配置

更新源，更新系统

sudo apt-get update
sudo apt-get upgrade
sudo reboot

安装一些工具软件

安装chromium浏览器，看CSDN学院视频必备

sudo apt-get install chromium-browser

安装vim

sudo apt-get install vim

设置系统默认编辑器，本人比较习惯用vi

sudo vi /etc/bash.bashrc

在末尾添加

export EDITOR=vi

开启sudo免密

sudo vi /etc/sudoers

修改%sudo开头的行为：

%sudo	ALL=(ALL:ALL) NOPASSWD:ALL

安装ssh-server

sudo apt install openssh-server
sudo apt install lrzsz

安装一些系统工具

sudo apt install sysstat

安装一些开发工具

sudo apt install git

安装中文支持

sudo apt-get install language-pack-zh-hans
sudo update-locale LANG=zh_CN.UTF-8 LANGUAGE=zh_CN:zh LC_ALL=zh_CN.UTF-8

安装后重启系统生效

安装输入法

采用下载deb，双击安装的方式更方便，根据提示操作，自动安装缺少的依赖

安装输入法架构fcitx

sudo apt-get install fcitx

安装搜狗输入法

先到官网下载搜狗输入法deb安装包，然后安装

sudo dpkg -i sogoupinyin_2.3.1.0112_amd64.deb

选择输入法框架

重启系统，在图形界面下配置输入法
应用程序（左下角图标） -> 输入法 -> “OK” -> “Yes” -> 选择 “fcitx” -> “OK” -> “OK”
重启系统

配置输入法

点击窗口右上角的输入法图标（小键盘），在菜单中选择“配置”；
在“输入法”页中配置键盘和输入法，对于中文输入法，第一项应该是“键盘-汉语”，下面依次为各种中文输入法，搜狗输入法包含了拼音和五笔，我不用五笔，从配置里删除了，“键盘-英语”也没用了，也删除了，配置后如果不起作用可以重启一下系统。
输入法配置
配置完成后可以用SHIFT键或CTRL+SPACE键切换输入法。

机器学习linux系统环境安装

sudo apt-get install python3-pip

配置pip国内源

cd
mkdir .pip
vi ~/.pip/pip.conf

内容如下：

[global]
index-url = https://pypi.douban.com/simple
[install]
trusted-host=pypi.douban.com

pip3 install jupyter xgboost lightgbm scikit-learn

设置环境变量

vi ~/.bashrc

在最后添加以下内容：

export PATH=$PATH:$HOME/.local/bin

更新环境变量

source ~/.bashrc

使用jupyter notebook

jupyter notebook

安装深度学习框架

tensorflow-gpu

先安装一些工具

sudo apt-get install rsync screen aptitude nmon zsh

安装CUDA和cuDNN

安装nvidia驱动
查看显卡型号

sudo update-pciids
lspci | grep -i nvidia

这个命令列出了NVIDIA设备，如果没有显卡具体型号，其中会包含PCI设备的设备ID，我的是2191，这个类似USB设备的VID/PID，可以在以PCI ID网站(http://pci-ids.ucw.cz/read/PC/10de)查到对应的设备型号，如果有多个，以绿色的为准；
例如我的显卡PCI设备ID2191对应TU116M [GeForce GTX 1660 Ti Mobile]，所以我的显卡型号是GTX 1660 Ti

查看当前驱动版本

sudo dpkg --list | grep nvidia-*

查看软件库有哪些驱动版本

sudo apt-cache search nvidia-driver

显卡型号与驱动版本之间的支持关系参考：https://www.geforce.cn/drivers

我用的显卡型号是GTX1660Ti，查到对应的驱动版本有4个：

430.09
418.88
418.74
418.1130

用PPA方式安装驱动

sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt-get update

查看有哪些可用的驱动版本

ubuntu-drivers devices

我选择了recommended版本nvidia-driver-440，安装重启系统

sudo apt-get install nvidia-driver-440
sudo reboot

检查驱动是否正常

nvidia-smi

下载
下载CUDA 10.0，目前是tensorflow-gpu 1.14，依赖CUDA 10.0
下载cuDNN 7.6.5 for CUDA 10.0

CUDA最新版本下载地址：https://developer.nvidia.com/cuda-toolkit
CUDA历史版本下载地址：https://developer.nvidia.com/cuda-toolkit-archive
cuDNN最新版本下载地址：https://developer.nvidia.com/cudnn
cuDNN最新版本下载地址：https://developer.nvidia.com/rdp/cudnn-archive

安装CUDA apt库

sudo dpkg -i cuda-repo-ubuntu1804-10-0-local-10.0.130-410.48_1.0-1_amd64.deb
sudo apt-key add /var/cuda-repo-10-0-local-10.0.130-410.48/7fa2af80.pub
sudo apt-get update

安装CUDA

sudo apt-get install cuda

安装过程中会卸载前面安装的驱动，安装低版本驱动nvidia-driver-440，没关系，不影响使用，但是如果不安装使用低版本驱动，系统重启后鼠标键盘会没有响应。

** 坑： **

有时候会出现NVIDIA显卡驱动无法正常加载的问题，本人刚刚装好CUDA时能正常使用，过了几天，某天开机发现就不行了，nvidia-smi命令此时无法显示显卡信息，按网上所说的方法都没能解决，最后反复尝试按以下方法非完美解决：

从NVIDIA官网下载Linux 64bit版本的显卡驱动，安装驱动后重启系统，重启到图形登录界面，登录后无法进入桌面（只有紫色背景）且鼠标键盘无相应；反复尝试各种方法，目前仅知道是Xorg问题，不知如何解决，最终采用以下方法绕过Xorg，非完美解决问题：

启动到图形登录界面后，点击要登录的用户，在密码输入框的右下角有一个齿轮图标，点击齿轮图标，在弹出菜单中选择非基于X11的桌面系统，然后输入密码就可以进入桌面了；本人选择的是Ubuntu on Wayland，进入后与默认的Ubuntu桌面完全一样，桌面设置都在，Gnome桌面也可以；而其他基于X11的桌面则无法使用，包括Ubuntu，Gnome on Xorg，Lubuntu等，都是相同的问题。

安装cuDNN

sudo dpkg -i libcudnn7_7.6.5.32-1+cuda10.0_amd64.deb

安装tensorflow-gpu

安装

pip3 install tensorflow-gpu

验证

import tensorflow as tf
print(tf.test.is_gpu_available())

从输出的log看可以知道GTX1660Ti的capability是7.5，一般应该在https://developer.nvidia.com/cuda-gpus可以查到，但我并没有找到GTX1660Ti对应的信息

2020-02-08 01:45:10.705657: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1326] Created TensorFlow device (/device:GPU:0 with 5312 MB memory) -> physical GPU (device: 0, name: GeForce GTX 1660 Ti, pci bus id: 0000:01:00.0, compute capability: 7.5)

安装mxnet

注意与CUDA版本对应

pip3 install mxnet-cu100mkl

安装pycharm

下载
下载地址：https://www.jetbrains.com/pycharm/download/#section=linux
安装
无需安装，解压到HOME下即可
创建快捷方式
参考：https://blog.csdn.net/u010071211/article/details/81114269
我的desktop文件内容如下：

[Desktop Entry]
Version=1.0
Type=Application
Name=PyCharm
Comment=Example content for Ubuntu
Exec=/home/zhangch/pycharm-community-2019.3.3/bin/pycharm.sh
Icon=/home/zhangch/pycharm-community-2019.3.3/bin/pycharm.png
Terminal=false
StartupNotify=false
Categories=Application;Development;

双系统时间不一致问题

装了双系统后总是发现不是windows下时间慢了8小时，就是linux下时间快了8小时，这是因为两个系统对硬件时钟理解不一致造成的，linux认为硬件时钟是utc时间而Windows认为硬件时钟是本地时间，参考网上稳定修改其中之一使其一致即可.

Windows修改参考：
https://blog.csdn.net/zyqblog/article/details/79318955
https://www.jb51.net/article/161125.htm
Ubuntu修改参考：
https://bbs.qunyingkeji.com/1434
https://blog.csdn.net/coollive2017/article/details/78925956

本人喜欢有标准的东东，选择了UTC，去修改Windows配置