生信项目之宏基因组数据预处理

目录

一、下载宏基因组数据

二、读取SRA序列

三、过滤序列

四、组装序列

五、下游分析

---

一、下载宏基因组数据

关于宏基因组数据的下载，一般是使用SRA-Toolkit等工具进行下载，具体的下载方法请参考宏基因组数据下载

二、读取SRA序列

在NCBI下载的SRA文件一般是.sra结尾的，因此要将其转化为fastq等的文件格式才能够进一步的处理该文件。具体的处理方法已集成在SRA-Toolkit工具中，这个工具的下载方法也在宏基因组数据下载中有所提及，这里不再赘述。
下载好该工具后，执行下述命令，即可将.sra文件转化为.fastq文件格式。

fasterq-dump -3 SRR…… -p -e 100 -O out_dir 
# out_dir为输出文件夹
# -p 显示进度 -e 选择cpu线程
# SRR…… 为具体下载的 SRA文件的名称

假设 SRR1262938 是双端测序数据，那么执行上述命令后，您将在 out_dir 目录下看到两个文件：

• SRR1262938_1.fastq: 对应第一个方向的读段。
• SRR1262938_2.fastq: 对应第二个方向的读段。

 这里的两个SRR序列被称为双端序列，当然若您下载的SRA文件为单端的则只会输出一个fastq文件。在宏基因组学研究中，双端测序（paired-end sequencing）是一种常用的测序策略，它可以从两个方向对同一个DNA片段进行测序，从而得到两个相关联的测序读段（reads）。那么为什么要选择双端序列呢？下面是双端序列相对于单端序列的好处：
1.提高组装质量：双端测序提供了来自同一DNA片段两端的信息，这对于基因组组装非常有用。在组装过程中，双端读段可以用来校正错误、填补空缺区域以及解决重复序列问题。

2.提高比对准确度：当将双端读段与参考基因组比对时，可以通过匹配一对读段来确认它们之间的距离和方向，从而更准确地定位到基因组上的位置。

3.检测结构变异：结构变异包括插入、缺失、倒位和易位等。双端读段有助于识别这些变异类型，尤其是当变异导致读段间预期的距离发生变化时。

4.提高低复杂度区域的覆盖度：在某些情况下，单个读段可能无法唯一地比对到基因组上，特别是当它们跨越低复杂度区域或重复序列时。双端读段通过提供额外的信息，可以增加这些区域的可比对性。

5.提高转录本分析的准确性：在RNA测序中，双端读段可以提供关于转录本结构的更多信息，帮助区分不同的剪接变体。

6.降低成本：虽然双端测序每次运行的成本比单端高，但由于其提高了数据分析的质量，减少了后续验证实验的需求，从长远来看可能会更加经济。

7.增强复杂样本的分析能力：对于复杂的样本，如微生物群落或肿瘤样本，双端读段能够提供更多的信息用于物种鉴定或突变检测。

三、过滤序列

当我们得到双端序列后，需要对序列进行一个过滤操作，过滤的目的在于提高数据的质量和准确性，从而确保后续的分析结果可靠。过滤的原因如下：

1. 去除低质量读段

• 质量修剪：去除低质量的碱基，提高数据的整体质量。低质量的碱基可能导致错误的比对和组装结果。

• 去除接头序列：去除测序过程中引入的接头序列和其他类型的污染，提高数据的纯度。

2. 去除重复读段

• 去除PCR重复：PCR（聚合酶链反应）过程中产生的重复读段可能导致组装错误和比对偏差。

3. 去除宿主DNA/RNA

• 去除宿主序列：在宏基因组学研究中，如果样本中含有宿主的DNA或RNA，需要将其去除，以避免干扰对微生物群落的分析。

4. 去除适配器序列

• 去除适配器污染：去除残留的适配器序列，这些序列可能会影响后续的分析。

5. 读段长度控制

• 去除短读段：去除过短的读段，这些读段可能无法比对到参考基因组或不足以用于组装。

6. 提高比对准确性

• 提高比对质量：通过去除低质量读段和短读段，提高比对的准确性，减少错误比对。

7. 提高组装质量

• 提高组装质量：去除低质量读段有助于提高基因组组装的质量，减少错误的拼接。

8. 减少计算资源消耗

• 减少数据量：通过过滤去除不必要的读段，可以减少数据量，降低计算资源的需求。

9. 提高分析效率

• 加速分析：过滤后的数据更容易处理，可以加速后续的比对和组装过程。

10. 提高结果可靠性

• 提高可靠性：过滤可以减少因低质量读段导致的错误，提高分析结果的可靠性。

过滤的方法有很多种，如：Trimmomatic、FastQC、Cutadapt、BBMAP、Skewer、PrinSeq等。这里我们介绍一种比较常用的方法：BBMAP suite。BBMap suite（包括 bbduk.sh 和其他工具）是一套广泛使用的生物信息学工具，用于处理高通量测序数据。
BBMAP的下载：https://sourceforge.net/projects/bbmap/
BBMAP官方的使用文档：Installation Guide - DOE Joint Genome Institute

在终端的安装方法如下：
 

wget https://nchc.dl.sourceforge.net/project/bbmap/BBMap_39.01.tar.gz
tar -xvzf BBMap_39.01.tar.gz
#该软件下载安装后需要配置Java环境依赖后才能使用，安装此依赖如下
wget https://download.oracle.com/java/19/latest/jdk-19_linux-x64_bin.tar.gz
$ tar -zxvf jdk-19_linux-x64_bin.tar.gz
# 编辑.bashrc文件，添加以下命令
JAVA_HOME=/home/yanziming/vicent/jdk-19.0.2
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH

这里我们拿过滤的操作举个使用例子，bbduk是BBMAP中过滤序列的组件。具体如下：

./bbduk.sh  in1=****_1.fastq in2=****_2.fastq out1=out_****_1.fastq out2=out_****_2.fastq ktrim=r k=23 mink=11 hdist=1 minlen=50 tpe tbo
./bbduk.sh  in1=out_****_1.fastq in2=out_****_2.fastq out1=out1_****_1.fastq out2=out2_****_2.fastq trimq=10 qtrim=r ftm=5 minlen=50
./bbduk.sh in1=out1_****_1.fastq in2=out2_****_2.fastq out1=finre_*****_1.fastq out2=finre_****_2.fastq ftl=10

四、组装序列

在对双端序列进行过滤之后进行组装的原因主要是为了从原始测序数据中重建出更长、更有意义的DNA片段。下面是组装的一些好处和原因：
1.提高分辨率：高通量测序技术通常产生较短的序列片段，这些序列片段的长度通常在几十到几百个BP之间。通过组装，可以将这些短片段拼接成更长的连续序列，从而提高分析的分辨率和准确性。

2.减少数据量：原始测序数据量非常大，包含数百万甚至数十亿条序列读段。组装可以显著减少数据量，简化后续的分析过程，比如注释、变异检测等。

3.识别基因结构：短读段可能无法完全覆盖完整的基因区域。通过组装，可以更好地识别基因的结构特征，如外显子、内含子等。

4.基因组或转录组重建：对于未知物种或参考基因组缺失的情况，组装是重建基因组或转录组的关键步骤。组装可以帮助构建基因组草图或转录本集合，这对于后续的功能研究非常重要。

5.发现新基因或变异：在没有参考基因组的情况下，直接比对方法可能无法识别新的基因或变异，组装可以帮助发现新基因或变异，特别是在非模型生物中。

6.改善后续分析的准确性：短读段可能会因为重复序列的存在而难以准确比对到参考基因组上。通过组装生成的更长序列片段可以更好地解决这个问题，提高后续分析的准确性。

7.促进下游应用：许多下游应用，如基因表达分析、功能注释等，都依赖于高质量的序列数据。组装有助于提供这样的高质量数据，从而支持各种下游应用。

组装的方法有很多种，如：SPAdes、Flye、Canu、MegaHIT、Trinity、Unicycler、SSPACE、Scaffolder等。这里我们介绍一种常用的方法MegaHIT。

安装MegaHIT:

conda install -c bioconda megahit

使用MegaHIT：

#双端序列：
megahit -1 ****_1.fastaq -2 ****_2.fastaq -o out
#单端序列:
megahit -r ****.fastaq -o out

五、下游分析

当我们组装完宏基因组样本后，通常会进行一系列的下游分析，这些分析旨在从组装好的序列中提取生物学信息，进一步理解样本的遗传结构、功能特征以及潜在的生物学意义。一些常用的下游分析的工具将在后续的文章中展现。