批量下载获取NCBI SRA的公共数据(raw reads/assembly等)

收集好需要下载的raw reads/assembly的accession number号,以及accession number对应的Bioproject号。

进入SRA Explorer网站: SRA Explorer (sra-explorer.info),在红色箭头处输入Bioproject号。

选择需要下载的Accession,并add to collection,然后点击“购物车”,进入已选择的信息中。

然后选择Aspera commands for downloading FastQ files,并复制命令行,至本地txt,制作成sh脚本:

然后参考着修改成下面的命令格式,重命名为jobs_for_dowloaded.sh

ascp -QT -l 300m -P33001 -L- -k1 -i asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:vol1/fastq/SRR212/079/SRR21290179/SRR21290179_1.fastq.gz .
ascp -QT -l 300m -P33001 -L- -k1 -i asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:vol1/fastq/SRR212/079/SRR21290179/SRR21290179_2.fastq.gz .
ascp -QT -l 300m -P33001 -L- -k1 -i asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:vol1/fastq/SRR212/077/SRR21290177/SRR21290177_1.fastq.gz .
ascp -QT -l 300m -P33001 -L- -k1 -i asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:vol1/fastq/SRR212/077/SRR21290177/SRR21290177_2.fastq.gz .
ascp -QT -l 300m -P33001 -L- -k1 -i asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:vol1/fastq/SRR212/078/SRR21290178/SRR21290178_1.fastq.gz .
ascp -QT -l 300m -P33001 -L- -k1 -i asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:vol1/fastq/SRR212/078/SRR21290178/SRR21290178_2.fastq.gz .
ascp -QT -l 300m -P33001 -L- -k1 -i asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:vol1/fastq/SRR212/075/SRR21290175/SRR21290175_1.fastq.gz .
ascp -QT -l 300m -P33001 -L- -k1 -i asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:vol1/fastq/SRR212/075/SRR21290175/SRR21290175_2.fastq.gz .
ascp -QT -l 300m -P33001 -L- -k1 -i asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:vol1/fastq/SRR212/076/SRR21290176/SRR21290176_1.fastq.gz .
ascp -QT -l 300m -P33001 -L- -k1 -i asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:vol1/fastq/SRR212/076/SRR21290176/SRR21290176_2.fastq.gz .
ascp -QT -l 300m -P33001 -L- -k1 -i asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:vol1/fastq/SRR212/074/SRR21290174/SRR21290174_1.fastq.gz .
ascp -QT -l 300m -P33001 -L- -k1 -i asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:vol1/fastq/SRR212/074/SRR21290174/SRR21290174_2.fastq.gz .

随后将asperaweb_id_dsa.openssh文件(见本文顶部)与上面修改过的命令行放入同一路径下,即可运行脚本。

注:需要在Linux服务器或者Windows本地部署好Aspera软件,并可成功运行ascp命令。

time nohup sh jobs_for_dowloaded.sh &

等待下载完成即可。

注意事项:

  1. 下载过程中可能某些文件会下载中断/失败,完成一次下载后,可以将下载成功的注释掉(标#),再将脚本运行一遍,反复几次绝大多数即可成功。

  2. 此方法linux服务器和Windows本地PC都可成功运行。Windows PC可能需要安装Git for Windows(右键Git Bash here)。下载到本地后再上传至服务器即可。

  3. 若有极个别的文件反复下载不成功,可以尝试用本地迅雷下载,下载链接也可从SRA Explorer找到,如下:

  • 5
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
NCBI(National Center for Biotechnology Information)是一个向公众提供生物技术信息的数据库和资源的机构。在NCBI的Sequence Read Archive(SRA)中,我们可以访问并获取到大量的高通量测序数据,其中包括SRR数据。 要批量下载SRR数据,我们可以按照以下步骤进行操作: 1. 首先,我们需要在NCBI的网站上进入SRA数据库页面。这可以通过在浏览器中输入"SRA NCBI"来搜索并进入。 2. 在SRA数据库页面,我们可以使用不同的搜索选项来找到我们想要下载的SRR数据。我们可以根据物种、实验类型、测序平台等进行筛选。 3. 选择我们想要的SRR数据后,我们需要将这些数据添加到一个“购物车”或“文件篮子”中。这个功能可以帮助我们批量下载数据。 4. 在我们选择了所有需要下载的SRR数据后,我们可以点击购物车或文件篮子页面上的下载按钮。这个按钮通常带有一个下载箭头的图标。 5. 点击下载按钮后,系统将开始生成一个下载链接或下载文件。这个过程可能需要一些时间,具体取决于我们要下载数据量大小。 6. 一旦下载链接或文件生成完成,我们可以点击链接或下载文件来获取我们的SRR数据。这些数据将以压缩文件的形式提供,通常是以".tar"或".gz"的文件格式。 7. 最后,我们可以根据需要解压缩下载的文件,并使用适当的工具和方法来处理这些SRR数据。 总结起来,要批量下载NCBI的SRR数据,我们需要进入SRA数据库页面,搜索并选择我们需要的数据,将其添加到“购物车”或“文件篮子”,然后点击下载按钮来获取数据下载后的数据将以压缩文件的形式提供,我们需要解压缩并使用适当的工具来处理这些数据
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值