Ubuntu
silent56_th
大学生一枚,对机器学习、图像处理感兴趣,偶尔也会刷刷leetcode或者hihocoder。希望在这里可以和大家多多交流,互相学习。
展开
-
Ubuntu16.04+Virtualbox装Windows虚拟机分辨率调整
默认是800*600 (4:3),想要适配显示器(16:9)。两个步骤:主机系统上限调整:file–>preference–>display 改成hint+显示器分辨率虚拟机内部配合:Devices --> Insert Guest Additions CD Image…...原创 2019-10-19 07:23:35 · 969 阅读 · 0 评论 -
tensorflow+multiprocessing实现并行调参
笔者需要得到100组不同的超参数 训练后的测试准确率,其中不同的超参数对应于不同的网络结构,故Graph和Session均不能共享。即笔者需要执行100次 构建Graph-新建Session-Train&Test-Close&Quit 的操作。 而程序本身占用资源不多,于是便想要实现并行,加速调参。需求:输入100组超参数,返回相应超参数对应的测试准确率每组超参数...原创 2018-08-04 23:19:13 · 8846 阅读 · 14 评论 -
SCP不会覆盖已有文件
翻译自:https://serverfault.com/questions/150935/why-is-scp-not-overwriting-my-destination-file 提供了暂时的解决方式:只使用目标文件夹路径,而不包括目标文件的文件名。 例如原命令:scp -r /home/mpi/project1/ slave1:/home/mpi/project1测试发现不会覆盖...翻译 2018-05-23 18:15:54 · 38915 阅读 · 7 评论 -
命令行打印换行\n
翻译自:https://stackoverflow.com/questions/8467424/echo-newline-in-bash-prints-literal-n使用printf替代echo翻译 2018-05-27 20:55:20 · 3403 阅读 · 0 评论 -
Ubuntu在fstab中设置的挂载路径出现空格space
翻译自:https://stackoverflow.com/questions/15316017/how-do-i-specify-a-label-path-with-spaces-in-etc-fstab 设置/etc/fstab进行开机自动挂载的方法请见:http://blog.sina.com.cn/s/blog_142e95b170102vx2a.html常用的加单引号、双引号,以及...翻译 2018-05-15 17:37:27 · 3584 阅读 · 0 评论 -
Ubuntu16.04+Hadoop 2.x+SSH小集群配置
为了完成课程作业,笔者致力于寻找最简捷的配置方式。目的是连接三个节点运行简单的Hadoop程序。 参考资料:http://hadoop.apache.org/ 、 https://medium.com/@ryannel/installing-multi-node-hadoop-on-ubuntu-7decd4c285f0大致步骤为java配置–>hadoop standalone配置–...翻译 2018-05-14 23:50:53 · 260 阅读 · 0 评论 -
Hadoop安装遇到问题:RunJar unsupported major.minor version 52.0
按照hadoop官网安装stand-alone版本的hadoop之后,试图运行样例代码报错,参照 【Hadoop】12、运行hadoop的时候报错,升级JDK到1.8版本后问题解决。 错误代码: Exception in thread "main" java.lang.UnsupportedClassVersionError: mapreduceprog : Unsupported majo...转载 2018-05-14 20:01:54 · 924 阅读 · 0 评论 -
NodeJS+websockets在云服务器部署遇到问题:unexpected server response (503)
本地成功;云服务器部署后,win10成功,但在ubuntu系统内遇到:Error unexpected server response (503)。 参考相关issue,升级WS版本后问题解决(从1.x升级到2.x)。...翻译 2018-05-05 18:30:23 · 1670 阅读 · 1 评论 -
Ubuntu+Open MPI+SSH小集群简易配置
为了完成课程作业,笔者致力于寻找最简捷的配置方式。目的是连接三个节点运行简单的MPI程序。参考资料:https://www.open-mpi.org , https://blog.csdn.net/kongxx/article/details/52227572各节点初始化为了方便后续的SSH连接,这里设置所有节点具有相同的username(因为 ssh IP等价于 ssh $USE...原创 2018-04-21 21:57:46 · 1080 阅读 · 0 评论 -
Ubuntu持续运行某命令
翻译自:https://askubuntu.com/questions/430382/repeat-a-command-every-x-interval-of-time-in-terminal 笔者需要某命令在后台持续监听反应,出错结束要立刻重启。 第一种方法是用watch,但是即使命令没有出错,watch也会在一定间隔后再次执行相应命令。 第二种方法是while true; do &l...翻译 2018-08-02 20:27:19 · 2263 阅读 · 0 评论 -
Ubuntu非root权限非chsh更改默认shell
翻译自: https://unix.stackexchange.com/questions/136423/making-zsh-default-shell-without-root-access https://stackoverflow.com/questions/39621880/is-there-an-alternative-for-bashrc-for-bin-sh笔者在服务器上无...原创 2018-08-02 21:15:10 · 6770 阅读 · 0 评论 -
生成symbolic link时的相对路径解释
使用ln -s <src> <tar>生成软链接的时候,<src>被解释为字符串,并没有调用os获取绝对路径。这里所有的相对路径,都会在调用<tar>的时候,用<tar>的pwd解释。这其实为了多个相同项目内部的软链接提供了方便。笔者直接使用相对路径创建软链接,调用<tar>时报错:Too many levels of sy...原创 2019-08-14 11:38:55 · 902 阅读 · 0 评论 -
pytorch小坑:需设置CUDA_HOME环境变量,保证全局CUDA环境一致
详见: https://github.com/pytorch/pytorch/issues/22844安装和代码中的CUDA_HOME调用函数逻辑不一致,在多CUDA环境中出现bug。保险的做法是在设置PATH, LD_LIBRARY_PATH等环境变量时顺带把CUDA_HOME也设置了。windows应该是CUDA_PATH环境变量。...原创 2019-07-14 18:09:56 · 49467 阅读 · 13 评论 -
linux使用 不可见符号 作为命令行参数
翻译自:https://unix.stackexchange.com/questions/371797/unprintable-characters-as-input-in-command-linehttps://unix.stackexchange.com/questions/35369/how-to-define-tab-delimiter-with-cut-in-bash简单说,使...翻译 2019-01-29 12:47:10 · 1083 阅读 · 0 评论 -
Windows的linux子系统无法使用NFS
需求:不能装双系统,虚拟机本地文件共享又不方便,所以想要用win10商店的linux子系统(ubuntu18.04)配合NFS实现本地的linux环境编程测试,再同步到服务器上。结论:基于NFS的共享同步文件系统,不被win10的linux子系统支持,可能可以考虑SCP相关的方法,但公司内同样不能用ssh,所以只能转战虚拟机了。此文记录了windows上配置NFS时所遇问题,包括windo...原创 2019-01-18 16:47:50 · 6213 阅读 · 0 评论 -
python编程环境配置http代理
需求:公司网络要走代理服务器,所以需要win10系统中配置git, pip, 以及ubuntu子系统走http代理。各个工具都有局部的或者全局的配置文件,配置起来很方便,记录于此以防以往。其中win10配置的是用户级的,ubuntu子系统直接做了全局配置。git: git设置HTTP代理git config --global http.proxy http://proxyUsername...转载 2019-01-18 13:24:48 · 1978 阅读 · 0 评论 -
无root权限安装pip
翻译自:https://askubuntu.com/questions/363300/how-to-install-pip-python-to-user-without-root-access某服务器上无root权限,而系统无内置python-pip。搜索发现可以使用easy_install安装,命令如下:easy_install --user pip可能需要添加PATH(笔者没有用到)...翻译 2019-01-01 14:55:58 · 1063 阅读 · 0 评论 -
/usr/bin/ld不调用LD_LIBRARY_PATH内动态库
要编译个python包,内含c++拓展,需要一个动态库。因为没有服务器的root权限,自行下载动态库编译,得到.so文件及路径。按照常规的将路径加入LD_LIBRARY_PATH后,仍然无法找到指定动态库。使用ld -<lib> --verbose测试发现,/usr/bin/ld就不会搜索LD_LIBRARY_PATH指定路径。因为我对python包 以及 服务器整体环境并不...翻译 2018-12-24 23:01:16 · 700 阅读 · 0 评论 -
ubuntu卸载foxit reader
翻译自:https://askubuntu.com/questions/816678/how-can-i-uninstall-foxit-reader-from-16-04使用安装目录里面的maintenancetool 通常的安装目录为home/(user)/opt/foxitsoftware/foxitreader,也可以通过locate foxit查找目录 可能需要root权限,使用...翻译 2018-08-12 22:13:34 · 4161 阅读 · 1 评论 -
Ubuntu创建用户,给予sudo权限
翻译自:https://www.digitalocean.com/community/tutorials/how-to-add-and-delete-users-on-ubuntu-16-04加入用户: sudo adduser <newuser>查看用户组: groups <newuser>加入sudo组: sudo usermod -aG sudo <...翻译 2018-04-21 21:14:01 · 3762 阅读 · 0 评论 -
Ubuntu更改主机名称
更改/etc/hostname文件。MPI中获取主机名称函数MPI_Get_processor_name,脚本文件中使用$HOSTNAME调用,用于区分集群中的不同节点。翻译 2018-04-21 21:01:40 · 364 阅读 · 0 评论 -
Ubuntu安装NVIDIA驱动失败解决:登陆界面重复登录
笔者有一年多没有折腾系统安装这些事情了,最近实验室给换了个新电脑,装系统过程中又遇到了一些踩过的坑都忘了,记录在这里方便以后查询。系统环境:Ubuntu16.04(win10双系统) + GTX1060 目标:想要装NVIDIA的驱动,进而搭一下CUDA环境。问题复现:在设置/软件与更新/附件驱动 里面选择了相对较新的驱动nvidia-375。 问题现象:重启之后可以看见正常的登陆界面,但输入正原创 2017-08-24 17:19:08 · 4250 阅读 · 0 评论 -
在Ubuntu上为Shutter添加快捷键
1. 找到shutter的命令行命令2. 在系统设置中添加快捷键详情参考在Ubuntu上为Shutter添加快捷键转载 2017-04-10 16:43:45 · 990 阅读 · 0 评论 -
ubuntu开机自动挂载分区
因为我是win10+ubuntu16.04双系统,还有一个常年当磁盘用的移动硬盘,每次开机都要手动挂载,烦不胜烦。找了一版自动挂载的方法,为了防止以后忘记,转载在此:ubuntu 14.04 开机自动挂载分区。转载 2017-04-16 17:46:36 · 2658 阅读 · 0 评论 -
远程使用内网服务器的tensorboard和jupyter notebook
基本做法就是通过ssh建立主机和服务器之间的隧道,然后把服务器当地的端口转发到主机。建立SSH隧道关于ssh的应用可以参考ssh -D -L -R 差异。(这篇文章里的host1可以看作客户端,host2看作服务器,host3是中间转接主机3) 主要困难在于服务器位于内网,外网客户端不可见。客户端分两种情况,分别是客户端位于内网和外网。(外网指的是有公网IP,世界任意位置可以通过其IP地址找到该电原创 2017-04-05 23:25:15 · 7747 阅读 · 2 评论 -
win10和ubuntu双系统,ubuntu的dhcp获取IP失败
具体方法是先关掉ipv6, 然后关机,然后开机。尤其是从win10转为ubuntu的时候,要先关机,再开机。作者是在实验室使用win10+ubuntu16.04双系统,然后win10可以上网而ubuntu不行。 ifconfig发现找得到ipv6的IP但是ipv4的IP没有,而且win10可以上网所以硬件问题也初步排除,故认为应该是DHCP的问题。搜索一圈之后认为是ipv6导致的问题,就去关掉ip原创 2017-03-31 19:07:56 · 3458 阅读 · 0 评论 -
ubuntu查找python包的位置
使用pip命令中的show选项。 E.g. pip show theano---Metadata-Version: 2.0Name: TheanoVersion: 0.8.2Summary: Optimizing compiler for evaluating mathematical expressions on CPUs and GPUs.Home-page: http://deep原创 2017-03-14 23:46:54 · 14120 阅读 · 0 评论 -
ubuntu更改硬件时间【win10双系统】
详情参考Ubuntu 16.04将硬件时间UTC改为CST转载 2017-03-18 15:49:15 · 900 阅读 · 0 评论 -
tensorflow安装所遇问题:libcudnn.so.6:cannot open sharedobject file: No such file or directory
其实问题也不大,但是充分反映了需要仔细阅读错误代码,才能快速准确的解决问题。系统环境:Ubuntu16.04 + GTX1060 目的:配置一下python-tensorflow环境问题复现: 使用设置/软件与更新/附件驱动 安装nvidia-375 使用CUDA-8.0*.run安装CUDA 使用cudnn*.tgz安装cudnn5 PATH里面加入了/usr/local/cuda-8.原创 2017-08-25 23:09:05 · 30170 阅读 · 2 评论 -
jupyter使用matplotlib
环境ubuntu16.04+python3使用方法转载https://stackoverflow.com/questions/19410042/how-to-make-ipython-notebook-matplotlib-plot-inline 中的方法。%matplotlib inlineimport matplotlib.pyplot as plt翻译 2017-09-28 16:32:08 · 5722 阅读 · 0 评论 -
tmux配置
详细内容请见http://harttle.com/2015/11/06/tmux-startup.html。 这里转载.tmux.conf的配置文件unbind ^bset -g prefix 'C-a'bind r source-file ~/.tmux.conf \; display-message "Config reloaded"bind h select-pane -Lbind j转载 2017-09-28 16:36:11 · 497 阅读 · 0 评论 -
Apt-get忽略特定包的升级信息
apt-get upgrade可以直接升级所有可升级包,十分方便。笔者需要在不升级指定包的情况下,使用apt-get upgrade自动升级其他包翻译 2018-03-09 20:44:45 · 2220 阅读 · 0 评论 -
Ubuntu查看文件大小或文件夹大小
转载自:http://blog.csdn.net/xiqingchun/article/details/42466267一、查看文件大小 查看文件大小的命令:ls -l filename会在终端输出:-rw-r–r– 1 root root 2147483648 Mar 5 09:39 filetemp0606 其中数字2147483648 就是文件filename的大小单位是字节B转载 2018-01-14 14:08:51 · 21164 阅读 · 0 评论 -
ubuntu pipeline输入rm的参数
cat filelist.txt | xargs rm即使用xargs命令,将之前pipeline的输出作为后续命令的标准输入。方便使用更为广泛简单的正则项,而不是仅仅rm提供的。例如去掉所有的acc_[20].csv,acc_[21].csv ... acc_[29].csv,但不删除acc_[2].csv:ls | grep acc_\[2?\].csv | xargs rm翻译 2018-01-02 18:05:31 · 437 阅读 · 0 评论 -
ubuntu获取主机名称
$HOSTNAME是主机名,USERUSER是用户名,均可以直接在脚本文件中使用。原创 2017-12-11 14:21:58 · 985 阅读 · 0 评论 -
ubuntu查看文件的大小
环境&目的环境:Ubuntu16.04 目的:查看指定文件的文件大小方法翻译https://ubuntuforums.org/showthread.php?t=1513757 的方法ls -sh filename其中-s表示查看文件的size -h表示以human readable的格式显示翻译 2017-09-30 17:25:39 · 2875 阅读 · 0 评论 -
Ubuntu删除repository ppa
转载https://askubuntu.com/questions/307/how-can-ppas-be-removed 的内容。 例如加入ppa使用的是sudo add-apt-repository ppa:jonathonf/texlive删除的时候使用sudo add-apt-repository --remove ppa:jonathonf/texlive翻译 2017-09-29 17:30:16 · 6065 阅读 · 0 评论 -
Ubuntu的LaTeX环境配置
笔者的硬盘空间很大,本着一劳永逸的原则,选择了TexLive的Full版本;编辑器使用的TexStudio,取其同框显示,语法错误检测,pdf位置回溯,一键注释等功能。1 . TexLive的安装 国内使用repo下载TexLive就很慢,笔者测试是50kb左右,全部下下来要一天一夜。建议网上找一个相应版本的iso,一般都是支持多系统安装的。笔者windows就是使用的TexLive,所以已经解压原创 2017-09-29 17:28:08 · 611 阅读 · 0 评论 -
vim python环境配置
目的配置ubuntu下面vim+python环境,要求有语法缩进、highlight,自动补全等功能。解决方案笔者比较了github上大部分的vimrc方案,都缺少对python的某部分支持。最终从同学那里找到了这个博客,十分符合笔者要求和习惯,安装方便,功能强大,推荐。 http://moelove.info/2016/09/16/%E5%88%A9%E5%99%A8%E7%B3%BB%E5%8转载 2017-09-28 19:49:26 · 771 阅读 · 0 评论 -
Ubuntu16.04 开发环境配置
编辑器vimsudo apt-get install vimvim+python 请参考Vim与Python真乃天作之合。codeblocks官网:http://codeblocks.org/sudo add-apt-repository ppa:damien-moore/codeblocks-stablesudo apt-get updatesudo apt-get install codeb原创 2016-12-25 18:25:16 · 567 阅读 · 0 评论