最近使用学习AICluster的小结(二)
- 记录学习记录
- 为了装逼
Ubantu的适合初学的命令与技巧
- 打开windows下文件夹:
cd mnt/f/SARI/...
- 强制安装某一版本的库:
pip install scipy==1.2.1
(有时候太高版本的库经常有问题,比如scipy的imread函数在高版本就被删掉了)
- 当pip 安装本地地址的安装包,~/e往往表示home文件夹或者root文件夹(具体根据自己的定义)
pip install --target=/home/cdli/.local/lib/python2.7/site-packages package_name
- Ubantu执行具体某个sh文件命令,或者安装:
sh ./filename.sh
- 有时候执行脚本时候会出现网址后面有%OD的问题:
这种问题是由于windows下的命令行有回车,找到文件夹地址,可以直接打开脚本,然后将命令复制到程序框;
或者还有一种方法是用vim指令去修改脚本(例如:修改是“i”,保存并“wq”需要学习一下vim操作指令)。 - pip有时候下载有些软件的时候会非常慢,是因为他从国外的网站下载下来,有两种方法可以解决:
(1)用所以可以将网址复制下来,用VPN下载;
(2)用清华大学的镜像,下载下来镜像,这就需要修改和添加网址(我其实还不太会);
下载下来后,(如果有服务器,再上传到服务器),然后用pip的指令打开安装包。 - 所以安装软件或者安装python依赖包,直接使用 `apt-get 或者 pip install xxx。 如果觉得把已有的脚本一个一个改很麻烦, 可以直接下载sudo(没错, sudo实际上是个软件)
$ apt-get install sudo
服务器及jupyter的远程开启(上科大集群)
这一部分很多参考了这个上科大集群的网址
一、概念
- 服务器需要账号和端口号(这似乎是废话),这个账号下面,会有一定的空间去存储自己的代码,软件;
- 服务器往往是自带一些软件的,在分配给账号的时候就存在的,这些管理员会告诉你;
- 里面的空间也是有区别的,有些空间适合放dataset;
- /.bashrc或者~/.zshrc里有一些路径PATH,比如:在 zshrc 里面添加Anaconda-python路径。 ?(还不是很理解)
二、操作
- 基础操作
$ mkdir trash ## 建立文件夹
$ mv xxx /root/trash ## 文件移到文件夹
$ rm /root/trash/xxx ## 删除文件
- 容器里的时间怎么是错的?容器内部默认使用UTC时间(也就是和北京时间差八个小时), 如果想以北京时间为标准, 执行如下操作:
下载tzdata
$ apt-get install tzdata
开启
dpkg-reconfigure tzdata
一步步选择Asia, Shanghai 就可以把本机时区设置成东八区(CST)了
- 上传文件/下载文件
$ scp -P 12345 -r /local-dir root@10.15.89.41:/home ##上传,可以上传整个文件夹里面的文件
$ scp -P 12345 root@10.15.89.41:/homeresult.txt /local-dir ##下载
Ipython/Python(anaconda)
- 问题
ValueError: Object arrays cannot be loaded when allow_pickle=False
异常的处理,Stack Overflow 上大意是numpy的版本对应问题,之前版本的allow_pickle的默认值为True,所以可以通过numpy版本降级来解决这个问题。
执行强制安装,这里使用1.16.1or1.16.2版本.
具体内容请看这里