ubuntu操作
一、ubuntu修改软链接
链接:https://www.cnblogs.com/sddai/p/10235331.html
添加软连接(symbol link)相当于添加一个快捷方式,解决cannot open shared object file: No such file or directory问题。
sudo ln -s source target
sudo ldconfig /usr/local/cuda/lib64
如果要修改软连接指向,使用-f
sudo ln -fs source target
如果是文件夹,则可以加上-n
sudo ln -fns source target
二、ubuntu配置环境
链接: https://blog.csdn.net/Wuzebiao2016/article/details/87886356
将所需要的安装包放置在~/local/download里
1、安装anaconda2
Anaconda2-2019.03-Linux-x86_64.sh 在当前目录下执行命令:bash Anaconda2-2019.03-Linux-x86_64.sh
-
按回车或者空格阅读注册信息:
-
输入你所要安装的位置:
-
正在安装anaconda2:
-
安装conda:
2、安装cuda8.0
官网下载cuda8.0.375.26.run
-
终端输入
sh cuda8.0.75.26.run
-
按住回车键到100%,输入
accept
接受条款 -
输入
n
不安装nvidia图像驱动,之前已经安装过了 -
输入
y
安装cuda 8.0工具 -
回车确认cuda默认安装路径:
/usr/local/cuda-8.0
-
输入
y
用sudo权限运行安装,输入密码 -
输入
y或者n
安装或者不安装指向/usr/local/cuda的符号链接 -
输入
y
安装CUDA 8.0 Samples,以便后面测试 -
回车确认CUDA 8.0 Samples默认安装路径:
/home/pawn(pawn是我的用户名)
,该安装路径测试完可以删除
-
若出现了如下错误:
Error: unsupported compiler: 7.4.0. Use --override to override this check
-
根据提示,输入:
sh ~/local/download/cuda_8.0.44_linux.run --override
即可
在ubuntu16.04安装CUDA10.1时,可能会出现的问题:
Extraction failed.
Ensure there is enough space in /tmp Signal
caught, cleaning up
解决方法:
增加临时文件夹的容量:
sudo mkdir /home/tmp2
sudo chmod 1777 /home/tmp2
export TMPDIR=/home/tmp2
- 然后再运行:
./cuda_10.0.130_410.48_linux.run
, OK!
三、关于ubuntu上网
若是ubuntu上网失败,进入浏览器进行如下操作,则可以进行使用了。
preferences——Network Settings——Settings——换成手动连接
四、jupyter notebook使用
使用linux查看服务器上的文件以及可视化图片,可以在终端里输入:jupyter notebook
,终端会输出一个网址,输入网址即可查看服务器上的文件。PS,首先需要安装jupyter才行。
五、从ubuntu上传和下载文件
从服务器上下载文件,可以使用具有FTP的软件进行下载
六、一些常用命令
-
查询本地的Ip地址:
ipconfig
-
服务器查看GPU使用情况:
nvidia-smi -l
-
查看哪个用户在使用:
top
-
Linux下查看所有GPU上的使用者和GPU占用情况:
watch -n 2 --color gpustat --c
(前提是安装pip install gpustat
) -
查看文件夹内存:
du -h + 文件夹名字
-
进入环境变量:
vim ~/.bashrc
-
快速到文件最下面一行:
shift+G
-
刷新环境变量:
source ~/.bashrc
-
ubuntu的终端中输入命令:
lspci | grep -i nvidia
,会显示出你的NVIDIA GPU版本信息,不过不是很详细。 -
查看进程:
ps aux | grep python
-
查看cuda版本:
cat /usr/local/cuda/version.txt
nvcc -V
- 查看cudnn版本:
cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2
- 远程关闭服务器命令:
sudo shutdown -h now
- 挂载硬盘:
mount -t ext4 /dev/sda /data
- 开启svn:
sudo svnserve -d -r /public/svn/repository/
七、创建虚拟环境+conda3装Python2
virtualenv -p python3 env_python
- 切换cuda的时候要更新环境变量:
source ~/.bashrc
,将其他cuda版本注释掉即可。
八、关于服务器使用pip 安装 pytorch安装问题 python3.5 + cuda9.0 + cudnn7.3.1
https://blog.csdn.net/qq_43232373/article/details/102865138
九、使用conda/pip安装pytorch 0.3.1教程(mac/windos/linux)
https://ptorch.com/news/145.html
苹果系统:
linux系统:
十、tensorflow-tensorboard的使用
当ubuntu是无界面的时候,可以用下面的命令来看训练曲线。
tensorboard --logdir=dir --host=172.24.97.29
dir是目录,并加后面那个–host就可以了。
PS:虚拟环境必须有装tensorboard那个包。
十一、Linux下后台运行python程序,并输出日志文件
场景: Python程序执行需要很长的时间或者需要一直在跑,或者需要打印并记录很多信息。
策略: 后台运行程序,然后把打印信息保存在指定的文件中,等程序运行结束后,再检查输出日志或者实时观察日志。
1、启动命令:
1、一般使用
nohup python -u Job.py > log.log 2>&1 &
2、只记录异常日志(推荐)
nohup python -u Job.py >/dev/null 2>error.log 2>&1 &
3、不记录任何日志
nohup python -u Job.py >/dev/null 2>&1 &
说明:
- 末尾的“&”:表示后台运行程序;
- “nohup” :保证程序不被挂起;
- “python”:是执行python代码的命令;
- “-u”:表示不启用缓存,实时输出打印信息到日志文件(如果不加-u,则会导致日志文件不会实时刷新代码中的print函数的信息);
- “Job.py”:是python的源代码文件;
- “log.log”:是输出的日志文件;
- “>”:是指将打印信息指定到日志文件;
- “2>&1”:将标准错误输出转变化标准输出,可以将错误信息也输出到日志文件中(0-> stdin, 1->stdout, 2->stderr)。
2、关闭命令
1、查看进程
ps -ef|grep python
或者
ps -ef|grep Job