![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Linux工程问题
Sesen_s
这个作者很懒,什么都没留下…
展开
-
记录常用的小工具
iterm2oh_my_zsh:zsh-autosuggestions :shell补全路径git clone https://github.com/zsh-users/zsh-autosuggestions ${ZSH_CUSTOM:-~/.oh-my-zsh/custom}/plugins/zsh-autosuggestionsbrew install zsh-autosuggestionssource /usr/local/share/zsh-autosuggestions/zsh-原创 2020-06-08 18:19:43 · 543 阅读 · 0 评论 -
ssh 隧道建立,tensorboard 远程运行,本地访问
ssh 隧道建立,tensorboard 远程运行,本地访问建立ssh隧道参考文档:https://www.zsythink.net/archives/2450写的很清楚。建立ssh隧道,并登陆远程服务器ssh -L 8008:127.0.0.1:8008 服务器用户名@服务器ip服务器运行tensorboard命令tensorboard --logdir tf_logs --port 8008port可以自己指定,与之前建立隧道的转发端口一致本地查看tensorboard曲线网址原创 2020-06-01 15:28:44 · 1075 阅读 · 0 评论 -
pytorch分布式训练 RuntimeError: all tensors must be on devices[0]
在pytorch分布式训练时,需要指定device_ids一般我们指定的方式为device_ids=range(cfg.gpus), gpus为我们使用的gpu数量model = MMDistributedDataParallel(model.cuda(), device_ids=[cfg.gpus])但是会出现:RuntimeError: all tensors must be on devices[0]有可能.原创 2020-05-27 14:03:00 · 1539 阅读 · 0 评论 -
bash运行.sh文件出现 command not found: XX某变量名
bash运行.sh文件出现 command not found: XX某变量名bash或zsh运行 temp.shtemp.sh#!/bin/bashexport CUDA_VISIBLE_DEVICES=1# compile psecd ./pse/python setup.py buildcd ..## run testtest_img_dir = "path/to/img/test" # 【注意这里test_img_dir后面的空格】test_single_img_path=原创 2020-05-10 17:06:15 · 3531 阅读 · 0 评论 -
gitlab github 中gitignore文件的用法
在使用Git的过程中,我们喜欢有的文件比如日志,临时文件,编译的中间文件等不要提交到代码仓库,这时就要设置相应的忽略规则,来忽略这些文件的提交。简单来说一个场景:在你使用git add .的时候,遇到了把你不想提交的文件也添加到了缓存中去的情况,比如项目的本地配置信息,如果你上传到Git中去其他人pull下来的时候就会和他本地的配置有冲突,所以这样的个性化配置文件我们一般不把它推送到git服务器中...原创 2020-05-03 17:17:29 · 1596 阅读 · 0 评论 -
python 源码-编译-安装
最近使用conda配置psenet所需的环境,opencv老是编译不对,生成的adaptor.so链接地址不对。重新编译安装opencv,conda安装下载很慢。终于下载编译opencv完毕,仍然出现错误:psenet/pse/adaptor.so: undefined symbol: _ZTVN2cv12_OutputArrayE解决思路:1、利用python源码,进行...原创 2020-04-22 10:49:04 · 402 阅读 · 0 评论 -
vim 常用命令
dd --删除当前行dw --删除一个单词ndd --删除n行数据[N]yy --复制一行或者N行yw --复制一个单词p --粘贴Ctrl + f --向上翻页Ctrl + b --向下翻页i --插入到光标前面I --插入到行的开始位置a --插入到光标的后面A --插入到行的最后位置o, O --新开一行Esc --关闭插入...原创 2020-04-12 20:36:38 · 386 阅读 · 0 评论 -
不使用root权限,使用conda install进行gcc升级
代码需要gcc版本>=9.0,但是没有root权限。可以使用conda方法安装需要的gcc。去anaconda cloud上搜索gcc,选定自己需要的版本,按照里面的命令,进行安装。例如:...原创 2020-04-12 20:29:11 · 6533 阅读 · 0 评论 -
mac 如何下载github中的单个文件
一般在github或者gitlab中下载代码时,git clone或者download整个项目,当一个项目非常大,而我们又只需要其中一个文件时,应该如何操作呢。比如只需要pytorch/exmaple中的mnistmac在mac中,使用Chrom浏览器时,可以直接安装插件。在Chrome Store中有个扩展:Octo Mate下载链接:链接:https://chrome.g...原创 2020-04-11 21:20:22 · 854 阅读 · 0 评论 -
Ubuntu16.04 配置gnome桌面 VNCserver xstartup文件
1、安装gnome桌面sudo apt-get install gnome-session-flashbacksudo apt install ubuntu-desktop gnome-panel gnome-settings-daemon metacity nautilus gnome-terminal -y2、安装vncserverapt-get install vn...原创 2020-01-14 14:28:03 · 6736 阅读 · 1 评论 -
ubuntu系统查看cuda及cudnn版本号
1、查看 CUDA 版本:cat /usr/local/cuda/version.txt2、查看 CUDNN 版本:cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2原创 2019-12-04 13:34:36 · 227 阅读 · 0 评论 -
ubuntu系统配置Anaconda环境变量
1、安装anaconda后,执行命令$ conda输出 conda:未找到命令2、在跟目录下,打开etc/profile,添加anaconda环境变量root@node01:/# vim etc/profile在最后一行添加anoconda3/bin:export PATH=/opt/software/anaconda3/bin:$PATH# anconda3安装路...原创 2019-12-04 13:25:44 · 3110 阅读 · 0 评论 -
ubuntu系统下加速安装pytorch
1、ubuntu系统下新建用户,注意区分useradd和adduser的区别$ adduser name# 提示输入UNIX密码-确认密码-详细信息电话等useradd命令添加用户后,需要使用passwd name命令,写入密码。相比之下,adduser交互性更强一些。2、在anaconda网站下载适配于自己系统的安装包,安装完毕后,python已安装。3、安装GPU版本的...原创 2019-12-04 11:10:06 · 239 阅读 · 0 评论 -
import tensorflow时出现的h5py问题:The HDF5 header files used to compile this application do not match....
今天打开pycharm,由于写的一些练习代码中用到tensorflow,后台自动更新了tensorflow及其他的一些配置吧。后来在windows的shell中做测试,import tensorflow后,一直出现python停止运行,无法使用。错误如下:PS C:\Users\石威(Sesen)> pythonPython 3.6.4 |Anaconda custom (6...原创 2018-08-03 20:08:42 · 8587 阅读 · 1 评论 -
在Linux服务器下,新建用户装tensorflow
在root中,升级对应2.7或3.x版本的pip(由于默认总是3.x,所以这里前面加上前缀)python2.7 -m pip install --upgrade pipsudo python2.7 -m pip install https://files.pythonhosted.org/packages/0a/b2/eea4d2afb868403dbbc0518e0a62814c59...原创 2018-12-06 13:09:35 · 229 阅读 · 0 评论 -
远程访问服务器,ImportError: libcusolver.so.9.0: cannot open shared object file: No such file or directory问题
在远程访问服务器时,在import tensorflow时,经常遇到ImportError: libcusolver.so.9.0: cannot open shared object file: No such file or directory问题,先将解决方法记录下来,方便以后使用。1、root用户下,在/etc/profile中配置全局变量命令为:############...原创 2018-12-25 17:18:07 · 1708 阅读 · 0 评论 -
Linux批量删除含有文件名含特殊关键字的文件
在深度学习任务中,通常需要远程访问服务器做模型训练。当遇到大量数据集时,将数据从本地拷贝到服务器特别耗时。在中间训练过程中,如果遇到批量化分数据集时,不可能再重新在本地处理好之后,再ftp传送到服务器。此时就需要用到在linux系统中的批量文件操作。本篇博客主要记录批量处理含有特殊关键字(视自己所需)的文件。比如我们现在在做一个猫和狗的图片分类,拥有两个文件夹,分别为data/cat/ 和...原创 2019-03-29 14:44:43 · 10184 阅读 · 0 评论 -
linux 合并文件夹及批量修改文件后缀名
在远程访问服务器时,测试不同的模型,经常会遇到合并文件夹得到新的训练集或训练集数据的问题。1、合并文件夹trainori和train cp-fraptrain/*trainori/ -f 强制覆盖,不询问yes/no(-i的默认的,即默认为交互模式,询问是否覆盖) -r 递归复制,包含目录 -a ...原创 2019-04-03 15:34:48 · 341 阅读 · 0 评论 -
ubuntu下unzip解压
1、zip文件apt-get install unzip将压缩文件在当前目录下解压缩unzip file.zip2、rar文件apt-get install unrar将压缩文件在当前目录下解压缩unrar efile.rar...原创 2019-05-14 09:33:35 · 1657 阅读 · 0 评论 -
使用特定的镜像源安装anaconda,并创建虚拟环境
ubuntu 下anaconda安装1、bash Anaconda3-2019.03-Linux-x86_64.sh2、安装完成后:重启 Sessions3、修改conda源:***************.condarc文件内容开始:***************channels: - http://mirrors.源.com.cn/anaconda/pkgs/main...原创 2019-05-14 09:36:47 · 632 阅读 · 2 评论 -
Linux VNC使用
在服务器上安装VNC sever: apt-get install vnc4server在windows下安装vnc viewer在服务器开启:vncserver -geometry 1920x1080 -depth 24 :0关闭:vncserver -kill :02019.5.13不要每次都重新选择镜像,搭建环境,会导致之前安装的东西都要重新安装保存私有镜像...原创 2019-05-14 09:40:28 · 146 阅读 · 0 评论 -
Cornernet-lite 环境配置
错误1 :运行Python demo.py error:Traceback (most recent call last): File "demo.py", line 6, in <module> from core.detectors import CornerNet_Squeeze File "/data/shiwei/CornerNet_Lite/core...原创 2019-05-14 09:44:27 · 3330 阅读 · 12 评论 -
watch -n 3 nvidia-smi 命令不显示PID进程号
最近在使用watch -n 3 nvidia-smi 命令查看GPU使用情况,遇到下面这种不显示进程号的问题。导致无法kill掉正在运行的进程。解决办法:执行代码:ps aux|grep root|grep pythonroot 1571 0.0 0.0 28944 5908 pts/0 T 11:30 0:00 pythonroot ...原创 2019-05-21 22:08:28 · 8908 阅读 · 1 评论 -
ubuntu 代码后台运行
有时候网络不稳定,导致远程访问服务器时断掉。使用screen命令实现代码后台运行。开启一个新的窗口screen -S name # 创建一个窗口,并且为这个窗口命名断开窗口的连接而回到连接会话界面:Ctrl+a+D查看已开启的窗口screen -ls #可以查看已创建的所有窗口重新连接到某窗口,显示其运行过程screen -r name 终止某窗口对...原创 2019-06-13 22:02:50 · 1491 阅读 · 0 评论 -
Shell端运行.sh启动脚本被denied
添加训练脚本文件的可执行权利在shell下执行chmod +x *.sh原创 2019-06-09 14:32:48 · 268 阅读 · 0 评论 -
CenterNet:Object as points 环境搭建遇到的错误
1、环境cuda10.1 出现ImportError: /home/CenterNet/src/lib/models/networks/DCNv2/_ext/dcn_v2/_dcn_v2.so: undefined symbol: __cudaPopCallConfiguration 解决:改为cuda9.02、修改环境为cuda9.0,cudnn7.0,torch0.4...原创 2019-06-09 14:34:49 · 2512 阅读 · 6 评论 -
LINUX查看GPU,CPU,内存使用情况
查看linux下的cpu、内存和硬盘大小:查看cpu的方法 1、 cat /proc/cpuinfo 或者 更直观的查看cpu的型号命令:dmesg |grep -i xeon 查看内存的方法2、 cat /proc/meminfo 或者 更直观的查看内存的命令:free -m 查看硬盘大小 3、df -h 最后用top命令也可以查看到cpu和内...转载 2018-09-26 20:12:29 · 11374 阅读 · 0 评论