conda环境设置 jupyter notebook环境设置

文明上网

cd Documents/
./Qv2ray.v2.5.0.linux-x64.AppImage

服务器

8100

ssh8100=‘ssh zysun@119.78.226.23’

199

ssh199=‘ssh zysun@202.127.24.199’

sgi

alias sshsgi=‘ssh zysun@202.120.32.231’

gravity

scp -r zysun@111.186.40.49:/home/zysun/lensing_ratio/code/mock_figure/ /home/zeyang/Desktop/galaxy_X_lensing/lens_ratio/code/

alias sshlogin02=‘ssh zysun@111.186.40.49’
ssh01=‘ssh zysun@111.186.40.52’
pestat pbsnodes查看gravity剩余的核

scp -r zysun@111.186.40.49:/home/zysun/8100/desi_data/results/KG5_tsz_check/ /home/zeyang/Desktop/galaxy_X_lensing/desi_data/results/

登录节点不能run大程序，只能在数据节点

zysun@202.127.24.199:/mnt/d2/public/zysun/

scp -r zysun@202.127.24.199:/mnt/d2/public/zysun/code/ /home/zeyang/Desktop/galaxy_X_lensing/code

从服务传文件给本地

在本地输入！！！
eg.1.
scp zysun@202.127.24.199:/mnt/d2/public/zysun/zouhu/LS_DR8_total_csp.fits /home/zeyang/Desktop/galaxy_X_lensing/zouhu
eg.2
scp zysun@202.127.24.199:/mnt/d2/public/zysun/cmb-cross-correlation/figure/photoz_hist_2020-04-16-215908.png /home/zeyang/Desktop/galaxy_X_lensing/cmb-cross-correlation/figure

copy 整个文件夹
scp -r zysun@202.127.24.199:/mnt/d2/public/zysun/code/ /home/zeyang/Desktop/galaxy_X_lensing/code
注意！！！
最后本地的文件夹/code不用提前建好，会自动生成，不然会/code套/code
scp -r zysun@202.127.24.199:/mnt/d2/public/zysun/planck/simulation /home/zeyang/Desktop/galaxy_X_lensing/planck/simulation

从本地传给服务器

在本地输入！
scp comb_mask.npy zysun@202.127.24.199:/mnt/d2/public/zysun/cmb-cross-correlation

从一个服务器拷贝到另一个服务器

从8100传到199：在8100输入
scp /data/s6/zysun/figure/nz_2020-04-30-012536.png zysun@202.127.24.199:/mnt/d2/public/zysun/cmb-cross-correlation/figure
从199传到8100：在199输入
scp run_cl.py zysun@119.78.226.23:/data/s6/zysun/cmb-cross-correlation
从8100到gravity：在8100输入
``

对拷文件夹 (包括文件夹本身)

scp -r /home/helpteach/project/mallupload/ root@10.127.40.25:/home/test

对拷文件夹下所有文件 (不包括文件夹本身)

scp /home/helpteach/project/mallupload/* root@10.127.40.25:/home/test

对拷文件并重命名

scp /home/helpteach/project/mallupload/1509681299449.png root@10.127.40.25:/home/test/test.png

nohup挂起

nohup python -u main.py > myout.log 2>&1 &
-u是为了禁止缓存，让结果可以直接进入日志文件myout.log，所有的应该输出在终端上的东西，最后全部会存入文件myout.log

可以使用jobs命令查看是否后台正在执行

使用ps aux查看所有进程，可以看到我们的进程还在，没有结束

conda的环境设置

环境设置的目的是为了，在不同的环境下使用不同的Python安装包。同时方便我自己在用jupyter notebook时，切换不同的环境。

创建一个Python2.7的conda环境

1. 在安装好conda后进行
   可以用电脑下过的anaconda.sh文件传输到服务器，从199传到8100，scp Anaconda2-2019.10-Linux-x86_64.sh zysun@119.78.226.23:/home/zysun/anaconda，最后安装bash Anaconda3-5.2.0-Linux-x86_64.sh

检测是否安装成功，在终端输入，输出包含anaconda则说明已安装成功。

zeyang@zeyang:~$ python
Python 2.7.16 |Anaconda, Inc.| (default, Sep 24 2019, 21:51:30) 
[GCC 7.3.0] on linux2
Type "help", "copyright", "credits" or "license" for more information.

>>> 

2. 创建conda环境，名为 py27_env ：conda create -n py27_env python=2.7

查看conda环境列表：conda env list

进入py27_env环境：source activate py27_env

退出当前环境：conda deactivate

conda环境设置快捷键
在terminal输入vi ~/.bashrc

在最后添加

alias conda2='source activate py27_env'  
alias conda3='source activatepy36_env'  
alias deconda='conda deactivate'

生效办法
source .bashrc

jupyter notebook使用conda所创建的环境

安装ipykernel后，在terminal window输入：python -m ipykernel install --user --name py27_env --display-name conda_py27_env
添加py27_env环境，把此环境添加到jupyter notebook中的kernel叫做conda_py27_env

conda install: Segmentation fault(段错误)

通过检索，发现可能是之前安装的时候网络不良导致中途出错，于是有些包虽然在本地缓存了，但其实不完整。

解决方法: conda clean -a 删除所有缓存即可

添加conda-forge频道: conda config --add channels conda-forge

添加后安装healpy：conda install healpy

查看所有channels

conda config --get channels
添加channel：conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
删除channel：conda config --remove channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/(天文学够用)

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/

宇宙学方向的天文学生常用包：

healpy: conda install healpy
CAMB: conda install -c conda-forge camb 或者不要用conda-forge的频道安装，速度很慢，可以直接conda install camb
pymaster: conda install -c conda-forge namaster 同上，可直接conda install namaster

统计当前文件夹(目录)大小，并按文件大小排序

du -sh * | sort -n

查看该pid的进程的详细信息

ps -ef|grep

SCEREEN -DR?

vim自动设置行号

设置配置文件，两种配置方式

/etc/vimrc 是系统范围的初始化配置

～/.vimrc 个人的vim初始化配置

我们这里设置的是个人配置，直接在终端输入 vim ~/.vimrc ，然后我们就可以进入配置文件

使用vi编辑~/.vimrc文件或者/etc/vimrc文件，在该文件中加入一行set nu

Found a swap file

原因是在此次vi或vim操作前有过一次使用vi或vim 操作文件时出现了异常中断，所以在当前目录下产生了一个文件.load_saved_galaxy.py.swp，这个文件使用ls命令查看不能发现，使用ls -a命令查看可以知道是一个隐藏文件。

注：以.开头的文件就是隐藏文件

想要不再有上面的警告提示，把该文件删除即可rm .load_saved_galaxy.py.swp

移动文件

mv 文件（文件夹）名 移动的目的地 移动文件（文件夹）
mv pix_gal.py ../code/

z .reshape(-1, 1)

是想让z变成只要一列，不管有多少行
z.reshape(-1, 2)

多行删除

1.首先在命令模式下，输入“：set nu”显示行号； 2.通过行号确定你要删除的行； 3.命令输入“：32,65d”,回车键，32-65行就被删除了，很快捷吧
如果无意中删除错了，可以使用‘u’键恢复（命令模式下）

单行删除

光标所在行，dd

退出服务器

control+d

wget

使用wget后台下载

wget -b http://www.linuxde.net/testfile.zip

Continuing in background, pid 1840.
Output will be written to `wget-log’.
对于下载非常大的文件的时候，我们可以使用参数-b进行后台下载，你可以使用以下命令来察看下载进度：

tail -f wget-log

下载planck2018 simulation

wget -b COM_Lensing-SimMap_4096_R3.00.tar "http://pla.esac.esa.int/pla/aio/product-action?COSMOLOGY.FILE_ID=COM_Lensing-SimMap_4096_R3.00.tar"
wget -m -b 'https://portal.nersc.gov/cfs/cosmo/data/legacysurvey/dr8/south/sweep/8.0/' Continuing in background, pid 41141. Output will be written to ‘wget-log’.:

解压tar文件

tar -xvf file.tar //解压 tar包

tar -xzvf file.tar.gz //解压tar.gz
tar -czvf etc.tar.gz /etc <==打包后，以 gzip 压缩

重命名文件和文件夹

mv file1 file2
mv命令也可以移动文件和文件夹

例如：将/a目录移动到/b下，并重命名为c

mv /a /b/c

np.std

axis=0，意味着顺着第0维，垂直上下方向对行进行合并，
也就是把行数从3行合并成了1行，整体从(3,4)的维度变成了(4)
axis=1，意味着顺着第1维，水平左右对列进行合并，
也就是把列数从4列变成了1列，整体从(3,4)的维度变成了(3)

8100上Python包的安装路径

/home/zysun/anaconda2/pkgs

动态查看日志指令

tail -f 文件名

enumerate用法

	seq = ['one', 'two', 'three']
	for i, element in enumerate(seq):
	...     print i, element
	... 
	0 one
	1 two
	2 three

删除一个可能存在的文件

A more pythonic way would be:

	try:
	    os.remove(filename)
	except OSError:
	    pass

批量解压同一文件夹下的tar文件

ls *.tar | xargs -n1 tar xvf

发现用==判断数组中每一个元素是否对应相等

(a==b).all()
如果返回True则说明完全相等
(a==b).any()用于判断数组中只要有一个元素对应相等就返回True

if __name__ == '__main__':的作用

一个python文件通常有两种使用方法，第一是作为脚本直接执行，第二是 import 到其他的 python 脚本中被调用（模块重用）执行。因此 if name == ‘main’: 的作用就是控制这两种情况执行代码的过程，在 if name == ‘main’: 下的代码只有在第一种情况下（即文件作为脚本直接执行）才会被执行，而 import 到其他脚本中是不会被执行的

查看python包对应的路径

pip show healpy
会返回：
Name: healpy
Version: 1.14.0
Summary: Healpix tools package for Python
Home-page: http://github.com/healpy
Author: C. Rosset, A. Zonca
Author-email: cyrille.rosset@apc.univ-paris-diderot.fr
License: GPLv2
Location: /home/zysun/anaconda2/envs/py36_env/lib/python3.6/site-packages
Requires: matplotlib, six, numpy, astropy, scipy
Required-by: NPTFit

查看服务器Python包对应的路径

比如我想查看 colossus 包在服务器上的位置，在 Python 环境下执行下面代码即可：

import colossus
colossus.__file__

/home/zysun/anaconda2/envs/py36_env/lib/python3.6/site-packages/colossus/__init__.py

升级pip

sudo python3 -m pip install --upgrade pip

mac下的.bashrc 是 .zshrc

vi ~/.zshrc
alias ll='ls -l'

读fits文件的header

def read_fits(filename):
    hdul=fits.open(filename)
    #查看HDU
    hdul.info()
    #查看第二个HDU的header
    # hdul[1].header
    # print (header)
    #查看第二个HDU的data
    data = hdul[1].data
    return data

github

第一次建立仓库后的命令

之后每次更新本地代码后，上传到 github 上的步骤：

1. 在需要上传的文件夹下输入 git init
2. git add . 上传本文件夹下所有文件
3. git commit -m ‘first commit’ 添加commit
4. push 所有文件到远程 git push origin main

5. git push origin main后出现报错

failed to push some refs to

原因就是远程库与本地库代码不一致导致的，我们只要把远程库同步到本地库即可，解决办法是：

git pull --rebase origin main

install useful package

conda install -c astropy halotools

pip install dynesty

不同的covariance matrix
np.diag(np.diag(np.random.rand(N_d, N_d)))0.2 # np.diag(n1n2) #np.zeros((N_d, N_d))#np.diag(np.diag(np.dot(n1.reshape(N_d, 1), n2.reshape(1,N_d)))) # #np.cov(np.stack((n1,n2), axis=0), rowvar=False) #