202104/02 集群任务 & 随记

批量下载cbioportal中的datasets

for study in $(cat study_list_2.txt)
do
    echo $study
    wget --no-check-certificate https://cbioportal-datahub.s3.amazonaws.com/$(echo $study)
done

去掉下载链接中的%D

dox2unix study_list_2.txt #去掉doc文件中的中文字符

(一) 、集群任务提交

1. 构建download.slurm

#!/bin/bash
#SBATCH -J Job 
#SBATCH -p batch
#SBATCH -N 3
#SBATCH --cpus-per-task=16 #设置16个CPU核心
#SBATCH -t 80:00:00
for study in $(cat study_list_2.txt)
do
    echo $study
    wget --no-check-certificate https://cbioportal-datahub.s3.amazonaws.com/$(echo $study)
done

2. 使download.slurm可执行

chmod download.slurm

3. 集群提交download.slurm

sbatch download.slurm

4. 查看提交的集群任务

squeue

5. 杀死（终止）不想要的集群进程

scancel 2823