Aspera和Aspera_cli软件的安装和使用

Aspera和Aspera_cli软件

两个都是从NCBI数据库和EBI-ENA数据库高速下载数据的软件。
①ASpera 4.X.X，两个数据库都不能下载
②ASpera 3.X.X，NCBI数据库可以下载，EBI-ENA数据库不能下载
③Aspera_cli，两个数据库都可以下载
以上三种软件，能否下载只与我当时用时的网络状态相关，可能你用的时候就能下载了。
能不能下载也和运气相关，晚上可能会好点，可能网站最近维护，校园网之类，毕竟这是外网。

NCBI数据库和EBI-ENA数据库的下载用户和地址信息

NCBI数据库官网：https://ftp.ncbi.nlm.nih.gov/
下载需要的用户和地址信息：anonftp@ftp.ncbi.nlm.nih.gov:/blast/db/FASTA/nr.gz
EBI-ENA数据库官网：http://ftp.sra.ebi.ac.uk/
两种情况：
测序数据下载需要的用户和地址信息：fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR885/002/SRR8858432/SRR8858432_subreads.fastq.gz
其他数据下载需要的用户和地址信息：fasp-ebi@fasp.ebi.ac.uk:/databases/Pfam/current_release/Pfam-A.hmm.gz

1. ASpera 4.X.X

1.1 ASpera 4.X.X安装

ASpera官网：https://www.ibm.com/aspera/connect/
目前只能下载最新版本4.2.7
点击Linux，得到安装包：ibm-aspera-connect_4.2.7.445_linux_x86_64.tar.gz

#开始安装
cd /home/zhaohuiyao/Biosoft
#上传安装包（ibm-aspera-connect_4.2.7.445_linux_x86_64.tar.gz）
#或者直接下载安装包wget https://d3gcli72yxqn2z.cloudfront.net/downloads/connect/latest/bin/ibm-aspera-connect_4.2.7.445_linux_x86_64.tar.gz

tar -zxvf ./ibm-aspera-connect_4.2.7.445_linux_x86_64.tar.gz
./ibm-aspera-connect_4.2.7.445_linux_x86_64.sh
#注意该软件root用户不能安装，需要使用普通用户安装
#安装成功
#可执行文件位置：/home/zhaohuiyao/.aspera/connect/bin/ascp 

1.2 ASpera 4.X.X密钥文件

密钥文件位置：/home/zhaohuiyao/.aspera/connect/etc/。只有一个aspera_tokenauth_id_rsa

1.3 ASpera 4.X.X简单使用

cd /home/zhaohuiyao/Database/
#下载NCBI数据库数据
/home/zhaohuiyao/.aspera/connect/bin/ascp -v -QT -l 400m -k1 -i /home/zhaohuiyao/.aspera/connect/etc/aspera_tokenauth_id_rsa anonftp@ftp.ncbi.nlm.nih.gov:/blast/db/FASTA/nr.gz ./
#报错如下

#下载EBI-ENA数据库数据
/home/zhaohuiyao/.aspera/connect/bin/ascp -v -QT -l 400m -k1 -i /home/zhaohuiyao/.aspera/connect/etc/aspera_tokenauth_id_rsa fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR885/002/SRR8858432/SRR8858432_subreads.fastq.gz ./
/home/zhaohuiyao/.aspera/connect/bin/ascp -v -QT -l 400m -k1 -i /home/zhaohuiyao/.aspera/connect/etc/aspera_tokenauth_id_rsa fasp-ebi@fasp.ebi.ac.uk:databases/Pfam/current_release/Pfam-A.hmm.gz ./
#报错如下

#两种数据库都不可以

2. ASpera 3.X.X

2.1 ASpera 3.X.X安装

ASpera官网：https://www.ibm.com/aspera/connect/
我之前下载了ibm-aspera-connect-3.11.1.58-linux-g2.12-64.tar.gz，目前在官网哪里下载，没有细究
安装流程与上面4.X.X版本一致

2.2 ASpera 3.X.X密钥文件

密钥文件位置：/home/zhaohuiyao/.aspera/connect/etc/。有三个aspera_tokenauth_id_rsa、asperaweb_id_dsa.openssh、asperaweb_id_dsa.putty

2.3 ASpera 3.X.X简单使用

cd /home/zhaohuiyao/Database/
#下载NCBI数据库数据
/home/zhaohuiyao/.aspera/connect/bin/ascp -v -QT -l 400m -k1 -i /home/zhaohuiyao/.aspera/connect/etc/asperaweb_id_dsa.openssh anonftp@ftp.ncbi.nlm.nih.gov:/blast/db/FASTA/nr.gz ./
#成功下载

#下载EBI-ENA数据库数据
/home/zhaohuiyao/.aspera/connect/bin/ascp -v -QT -l 400m -k1 -i /home/zhaohuiyao/.aspera/connect/etc/asperaweb_id_dsa.openssh fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR885/002/SRR8858432/SRR8858432_subreads.fastq.gz ./
/home/zhaohuiyao/.aspera/connect/bin/ascp -v -QT -l 400m -k1 -i /home/zhaohuiyao/.aspera/connect/etc/asperaweb_id_dsa.openssh fasp-ebi@fasp.ebi.ac.uk:databases/Pfam/current_release/Pfam-A.hmm.gz ./
#报错如下

#发现NCBI数据库可以，但EBI-ENA数据库不可以

3. Aspera_cli

3.1 Aspera_cli安装

conda安装，简答方便
因为安装包安装过程中出现了报错，/usr/bin/env: “ruby -EUTF-8:UTF-8”: 没有那个文件或目录。没有解决掉。
conda create -n aspera-cli
conda activate aspera-cli
conda install -y -c hcc aspera-cli
conda deactivate

3.2 Aspera_cli简单使用

conda activate aspera-cli
cd /home/zhaohuiyao/Database/
#下载NCBI数据库数据
ascp -i /home/zhaohuiyao/miniconda3/pkgs/aspera-cli-3.9.6-h5e1937b_0/etc/asperaweb_id_dsa.openssh -l 200M -k 1 -T anonftp@ftp.ncbi.nlm.nih.gov:/blast/db/nr.00.tar.gz ./
#成功下载

#下载EBI-ENA数据库数据
ascp -i /home/zhaohuiyao/miniconda3/pkgs/aspera-cli-3.9.6-h5e1937b_0/etc/asperaweb_id_dsa.openssh -l 200M -k 1 -T fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR885/002/SRR8858432/SRR8858432_subreads.fastq.gz ./
ascp -i /home/zhaohuiyao/miniconda3/pkgs/aspera-cli-3.9.6-h5e1937b_0/etc/asperaweb_id_dsa.openssh -l 200M -k 1 -T fasp-ebi@fasp.ebi.ac.uk:databases/Pfam/current_release/Pfam-A.hmm.gz ./
#成功下载