aspera高速下载ncbi数据库（metawrap数据库安装）

---

前言

本来想要安装好metawrap，装好倒是简单，但是有许多的使用问题，比如ncbi的数据库下载就十分缓慢，数据量又大于100G，有个教程里面说可以用wget去国家微生物那个库里面下载，但是下载了几次之后，解压的时候还是发现报错，文件错误，故放弃。转而查询其他下载官网数据的方法，发现aspera下载，在这里总结一下，纯新手练习

所以在ncbi官方地址下载有两个好处，首先可以保障是最新的数据库，这样对于分析的结果更加可靠一些；另外，可以减少传递错误的概率，大文件解压不会出错。

---

一、安装apera

这里就不过多赘述，网上有很多详细的教程，我参考的主要是

aspera以及生信平台搭建

所以我直接吧我可行的步骤列出来吧

wget -c https://download.asperasoft.com/download/sw/connect/3.8.1/ibm-aspera-connect-3.8.1.161274-linux-g2.12-64.tar.gz

tar -zxvf  ibm-aspera-connect-3.8.1.161274-linux-g2.12-64.tar.gz

#这里看你自己下载的文件名称是什么，我的是ibm-aspera-connect-3.8.1.161274-linux-g2.12-64.sh
sh ibm-aspera-connect-3.8.1.161274-linux-g2.12-64.sh

# 所有安装文件都在~/.aspera/connect目录下，添加环境变量
echo 'export PATH=~/.aspera/connect/bin/:$PATH' >> ~/.bashrc

# 使环境变量生效
source ~/.bashrc

# 查看ascp可执行文件所在的路径，应该是：~/.aspera/connect/bin/ascp
which ascp

# 看程序是否能正常运行
ascp -h

不用在官网下载更加新的软件，我下载的最新软件以为会更好一点，结果密钥好像和原来的版本不一样了，
建议多一事不如少一事 直接复制

二、ncbi_nt数据库下载步骤

先来看看下载速度

假如没有aspera来下载，真不知道wget要下载到什么时候
由于aspera没有wget批量下载那么方便，不能使用nt.*.tar,gz下载，所以我用了一个比较傻的办法
直接在excel里面输入nt.000.tar.gz，然后下拉到多少个nt

查看nt数量的话可以去ncbi数据库这里查看

就像这样把它复制过来
然后粘贴到vim里面

#进入file.lst粘贴
vim file.lst

#运行ascp，大功告成，安心等待下载完毕
ascp -QT -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -l 1000M -T -k 1 --mode recv --host ftp.ncbi.nlm.nih.gov --user anonftp --file-list file.lst .

#补充一下，后来又下了一次nr数据库，不用那么麻烦了哈哈哈
for i in {00..91};do ascp -QT -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -l 1000M -k 1 -T anonftp@ftp.ncbi.nlm.nih.gov:/blast/db/nr.${i}.tar.gz ./你的储存路径;done

-QT感觉是加速的
-i 免密从NCBI或EBI下载的私钥，安装完成就有，位于~/.aspera/connect/etc/asperaweb_id_dsa.openssh
-l 最大下载速度，如1000M
-k 断点续传，通常设为1
-T 无需加密传输
–host 服务器域名，NCBI为http://ftp.ncbi.nlm.nih.gov，EBI下载千人基因组为http://fasp.1000genomes.ebi.ac.uk
–user 用户名，NCBI为anonftp，EBI下载千人基因组为g1k
–mode 传输模式，上传为send，下载为recv

下载完成以后可以使用以下命令进行解压

#time计时，-xzf不显示详细信息解压，echo显示一个包解压完成，这样既不会显示太多信息，但是进程和错误情况都能掌握
time for i in nt.*.tar.gz;do tar -xzf $i;echo $i is done;done

---

总结

太舒服辣