扩增子分析解读5物种注释,OTU表操作

最新推荐文章于 2024-06-21 13:34:53 发布
最新推荐文章于 2024-06-21 13:34:53 发布
阅读量2.4w 收藏 80
点赞数 13
分类专栏： 扩增子
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/woodcorpse/article/details/77119548
版权

本网对Markdown排版支持较差，请跳转“宏基因组”公众号阅读；

image

写在前面

之前发布的《扩增子图表解读》系列，相信关注过我的朋友大部分都看过了(链接直达7月文章目录)。这些内容的最初是写本实验室的学生们学习的材料，加速大家对同行文章的解读能力。

《扩增子分析解读》系列文章介绍

扩增子分析是目前宏基因组研究中最常用的技术，由于微生物组受环境影响大，实验间重复较差，更需要更多的实验重复和分析技术来保证结果的准确性、可重复性。

本系统文章叫分析解读，即有详细的扩增子分析流程代码，又有本人对使用参数、备选参数意义的解读，可以让大部分零基础的人，更好的理解数据分析过程，并可亲自实践在自己的课题上，获得更好、更合理的实验结果。

本文采用目前最主流的扩增子测序数据类型HiSeq2500 PE250类型数据为例，结合目前主流方法QIIME+USearch优点组合定制的分析流程。本课程中所需的测序数据、实验设计和课程分析生成的中间文件，均可以直去百度云下载。链接：http://pan.baidu.com/s/1hs1PXcw 密码：y33d。

本课程代码的运行，至少需要Linux平台+安装QIIME1.9.1，我之前发布过三种安装QIIME的方法详见文章目录，总有一款适合你。

第五节. OTU物种注释,表操作

本节课程，需要完成《扩增子分析解读》系列之前的操作
1质控,实验设计,双端序列合并
2提取barcode,质控及样品拆分,切除扩增引物
3格式转换,去冗余,聚类
4去嵌合体,非细菌序列,生成代表性序列和OTU表

先看一下扩增子分析的整体流程，从下向上逐层分析。
image

分析前准备

# 进入工作目录
cd example_PE250

上一节回顾：我们制作学习了嵌合体的形成，以及基于参考数据库去嵌合体；也学习了基于数据库比对来筛选细菌或真菌；最后基于最确定的OTU，我们生成代表性序列和OTU表，这是每种高通量测序都有的结果，后续的结果将全部基本这两个文件。

接下来我们学习对OTU进行物种注释；OTU的操作，包括格式转换、筛选添加物种信息、数据量筛选样品、筛选高丰度的OTU、物种筛选等。

OTU表常用的BIOM格式

主页：http://biom-format.org/ 。BIOM是英文The Biological Observation Matrix的缩写，中文翻译为生物观测矩阵，是一种通过格式，用于生物学样品对应观测值的表格。它主要采用json/HD5F文件格式标准，即多维散列结构，保存表格结构数据结果。目前主流的宏基因组软件均支持此格式文件，如QIIME、MG-RAST、PICRUSt、Mothur、phyloseq、MEGAN、VAMPS、metagenomeSeq、Phinch、RDP Classifier、USEARCH、PhyloToAST、EBI Metagenomics、GCModeller、MetaPhlAn 2。知道它有多重要了吧。

Biom文件处理系统biom程序 python是QIIME的必装包，如果没有安装好，可尝试下面步骤重装

# 安装依赖包
pip install numpy
# 安装biom格式转换包
pip install biom-format
# 安装2.0格式支持
pip install h5py
# 测序程序是否安装成功
biom

13. 物种注释

对于扩增子分析，最重要的就是物种信息。我们基于上节分析得到的代表性序列，采用上次已经下载的greengene的参考序列和物种注释信息，比对软件选择rdp方法，进行注释。

# 物种注释
assign_taxonomy.py -i result/rep_seqs.fa \
    -r gg_13_8_otus/rep_set/97_otus.fasta \
    -t gg_13_8_otus/taxonomy/97_otu_taxonomy.txt \
    -m rdp -o result

注：如果是ITS/18S数据，建议数据库更改为UNITE，方法改为blast。详细使用说明，请读官方文档http://qiime.org/scripts/assign_taxonomy.html

14. OTU表统计、格式转换、添加信息

将OTU表转换为Biom格式，这样便于其它软件对其操作。可添加上面获得的物种信息，这样表格的信息就更丰富了，再转换为文本，便于人类可读，同时使用summarize-table查看OTU表的基本信息。

# 文本OTU表转换为BIOM：方便操作
biom convert -i temp/otu_table.txt \
    -o result/otu_table.biom \
    --table-type="OTU table" --to-json

# 添加物种信息至OTU表最后一列，命名为taxonomy
biom add-metadata -i result/otu_table.biom \
    --observation-metadata-fp result/rep_seqs_tax_assignments.txt \
    -o result/otu_table_tax.biom \
    --sc-separated taxonomy --observation-header OTUID,taxonomy 

# 转换biom为txt格式，带有物种注释：人类可读
biom convert -i result/otu_table_tax.biom -o result/otu_table_tax.txt --to-tsv --header-key taxonomy

# 查看OTU表的基本信息：样品，OUT数量统计
biom summarize-table -i result/otu_table_tax.biom -o result/otu_table_tax.sum

现在我们获得了OTU表的基本统计信息，用less result/otu_table_tax.sum查看一下吧，内容如下：

Num samples: 27 # 样品数据
Num observations: 975 # OTU数据
Total count: 409647 # 总数据量
Table density (fraction of non-zero values): 0.464 # 非零的单元格

Counts/sample summary:
 Min: 2352.0 # 样品数据量最小值
 Max: 35955.0 # 样品数据量最大值
 Median: 14851.000 # 样品数据量中位数
 Mean: 15172.111 # 样品数据量平均数
 Std. dev.: 10691.823 # 样品数据量标准变异
 Sample Metadata Categories: None provided # 样品分类信息：末提供
 Observation Metadata Categories: taxonomy # 观察值分类：物种信息

Counts/sample detail: # 每个样品的数据量
OE4: 2352.0
OE3: 2353.0
OE8: 3091.0
OE2: 3173.0
OE1: 3337.0
OE5: 3733.0
OE6: 4289.0
OE9: 4648.0
OE7: 5185.0
WT3: 10741.0
WT8: 12117.0
WT6: 14316.0
WT2: 14798.0
WT7: 14851.0
KO1: 14926.0
WT9: 15201.0
WT1: 15422.0
WT5: 15773.0
WT4: 16708.0
KO2: 17607.0
KO6: 23949.0
KO5: 26570.0
KO8: 27250.0
KO4: 32303.0
KO7: 33086.0
KO9: 35913.0
KO3: 35955.0

biom的详细使用说明，可以biom查看具体的功能，每个功能的详如，如添加注释功能biom add-metadata --help可查看详细说明。也可阅读官网 http://biom-format.org/

15. OTU表筛选

实验中会有各种影响因素，我们要综合各种背景知识来判断如何筛选数据表，起到去伪存真，去粗取粗，由此及彼，有表及理的来回答科学问题。数据筛选是会运行分析流程和数据分析师的分水岭。

看上面的的统计结果，样本数据量从2k-35k，我们应去除过小的数据量样本，提供更可能高的样品最低丰度的数据用于下游标准化分析。这里我们选择只保留数据量大于3000的样品。

# 按样品数据量过滤：选择counts>3000的样品
filter_samples_from_otu_table.py -i result/otu_table_tax.biom -o result/otu_table2.biom -n 3000
# 查看过滤后结果：只有25个样品，975个OTU
biom summarize-table -i result/otu_table2.biom

同时还要过滤低丰度的OTU，一般低于万分之一丰度的菌，在功能研究可能还是比较困难的(早期文章454测序数据量少，通常只关注丰度千分之五以上的OTU)。

# 按OTU丰度过滤：选择相对丰度均值大于万分之一的OTU
filter_otus_from_otu_table.py --min_count_fraction 0.0001 -i result/otu_table2.biom -o result/otu_table3.biom
# 查看过滤后结果：只有25个样品，346个OTU
biom summarize-table -i result/otu_table3.biom

有些研究手段在特定有实验中存在偏差，如2012Nature报导V5-V7在植物中扩增会偏好扩增Chloroflexi菌门，建议去除。

# 按物种筛选OTU表：去除p__Chloroflexi菌门
filter_taxa_from_otu_table.py -i result/otu_table3.biom -o result/otu_table4.biom -n p__Chloroflexi
# 查看过滤后结果：只有25个样品，307个OTU
biom summarize-table -i result/otu_table4.biom

以上过滤条件是根据经验、相关文献设计的，如果不清楚，也不要随便过滤，容易引起假阴性。

得到的最终结果，还要转换为文本格式，和提取OTU表对应的序列，用于下游分析。

# 转换最终biom格式OTU表为文本OTU表格
biom convert -i result/otu_table4.biom -o result/otu_table4.txt --table-type="OTU table" --to-tsv
# OTU表格式调整方便R读取
sed -i '/# Const/d;s/#OTU //g;s/ID.//g' result/otu_table4.txt
# 筛选最终OTU表中对应的OTU序列
filter_fasta.py -f result/rep_seqs.fa -b result/otu_table4.biom -o result/rep_seqs4.fa

写在后面

今天先到这里，本文已经讲了太多了，够大家学习一会的了。要想了解这些程序的更多功能，一定要阅读程序的帮助全文，才能有更深入的理解。

下节预告：进化树构建、Alpha和Beta多样性。

(宏基因组7月文章目录，更多精彩等你读)

Reference

  1. http://biom-format.org/
  2. http://qiime.org/scripts/assign_taxonomy.html
  3. http://qiime.org/scripts/filter_samples_from_otu_table.html
  4. http://qiime.org/scripts/filter_taxa_from_otu_table.html
  5. http://qiime.org/scripts/filter_fasta.html

想了解更多16S/ITS/18S扩增子、宏基因组、宏转录组文献阅读和分析相关文章，快关注“宏基因组”公众号，干货第一时间推送。
image

系统学习生物信息，快关注“生信宝典”，那里有几千志同道合的小伙伴一起学习。
image

刘永鑫Adam
关注
  • 13
    点赞
  • 踩
  • 80
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
pr2database:Protist核糖体参考数据库（PR2）-SSU rRNA基因数据库
05-04
pr2数据库 Protist核糖体参考数据库（PR 2 ） SSU rRNA基因数据库 是在BioMarks项目框架下于2010年启动的，该项目是基于Roscoff站生物物流的浮游生物小组在过去十年中开发的。 其目的是提供使用八个独特的分类领域（从王国到物种）精心注释的18S rRNA序列的参考数据库。 目前，它包含约184,000个序列。 许多元数据字段可用于许多序列，包括地理定位（无论它是源自文化还是自然样本，宿主类型等）。PR2的注释由每个分类组的专家执行。 在这方面，一个非常重要的项目是 ，该公司最近决定将其工作与PR 2合并。 EukRef建立了生物信息学管道，该管道已在三个专门针对特定生物分类学的研讨会上使用。 当前版本 当前版本：4.13.0 最近更新：2021年3月17日 下载PR2 install.packages( devtools ) devtools :: ins
GraPhlAn：最美进化树或层级分类树学习笔记
刘永鑫的博客——宏基因组公众号
03-21 1万+
文章目录Graphlan可视化进化树GraPhlAn简介素颜vs美化认识软件参数分支控制，一般不做控制组合命令控制注释阴影的半径一般全局参数节点基本参数节点对应的形状节点注释枝条参数环参数进化树实战构建OTU丰度和物种文件说明准备需要展示的数据构建三列注释文件，主要是节点注释构建四列注释文件，主要是环注释总体环修饰 指标可以保存基本小修即可graphlan出图，三条命令三张图问题：分支节点未命名或...
16S OTU物种注释
rojyang的博客
08-08 3961
## 1 下载的greengene的参考序列和物种注释信息 ##下载地址 $wget -c ftp://greengenes.microbio.me/greengenes_release/gg_13_5/gg_13_8_otus.tar.gz ## $head 97_otu_taxonomy.txt 367523 k__Bacteria; p__Bacteroidetes; c__Flavo...
HTTPS基本原理
最新发布
Lzcsfg的博客
06-21 1002
HTTPS（全称：HyperText Transfer Protocol over Secure Socket Layer），其实 HTTPS 并不是一个新鲜协议，Google 很早就开始启用了，初衷是为了保证数据安全。近些年，Google、Baidu、Facebook 等这样的互联网巨头，不谋而合地开始大力推行 HTTPS， 国内外的大型互联网公司很多也都已经启用了全站 HTTPS，这也是未来互联网发展的趋势。
利用Excel处理OTU表
热门推荐
weixin_42480153的博客
09-07 1万+
1 OTU表数据一维化（使用excel2016版本以上） 现在的数据有2个维度，OTU和样本，接下来我们要把维度降低到一维，只保留OTU这个维度，原样本信息以数据标签的形式标注在值的后面。 选择数据→从表格，这里会打开一个查询编辑器 将第一行设置为列名，选中第一列和最后一列，点转换，逆透视其他列 现在数据全都在一列了，原样本信息在属性列 开始→关闭并上载， 修改一下C列...
微生物 OTU ASV Feature table过滤2 基于qiime2的bar plot导出的
12-05 1133
#导入的是直接bar导出的csv【有group变量】 originaldata=read.csv("level-6.csv.csv",row.names = 1,header=F) dim(originaldata) data1=originaldata ncol(data1) data1 <- data1[,-114] #去掉最后一列分组的 ncol(data1) data2 <- as.data.frame(t(data1)) library(tidyverse) data3 <-
微生物小结
rojyang的博客
01-11 2268
比较早整理，很多参考链接没能全附上 微生物组学 是指研究动植物体上共生或病理的微生物生态群体。微生物组包括细菌、古菌、原生动物、真菌和病毒等。研究表明其在宿主的免疫、代谢和激素等方面非常重要。 Microbiome 微生物群 微生物群是指研究动植物体上共生或病理的微生物生态群体。微生物群包括细菌、古菌、原生动物、真菌和病毒。研究表明其在宿主的免疫、代谢和激素等方...
扩增子图表解读5火山图：差异OTU数量及变化规律
刘永鑫的博客——宏基因组公众号
01-13 3290
欢迎点击「宏基因组」关注我们！专业干货每日推送！背景介绍(Introduction)宏基因组学宏基因组学目前的主要研究方法包括：微生物培养组学、16S/ITS/18S扩增子、宏基因组、宏...
QIIME2扩增子分析流程及常用命令.pdf
07-13
便于查阅的QIIME2扩增子分析流程及常用命令（我的博文https://blog.csdn.net/weixin_42126262/article/details/107285753） pdf 版，包含QIIME2的16S扩增子分析流程基础内容、常用命令、部分图文解释。
2扩增子分析流程1
08-03
5. **α多样性分析**: 评估单个样本的多样性，包括物种丰富度、均匀度等指标。 6. **β多样性分析**: 比较不同样本间的群落结构差异，例如UniFrac距离和PCoA分析。 7. **差异分析**: 识别不同条件或组间显著差异的...
扩增子分析-vsearch数据处理过程文件
06-02
在“WorkSpace0531”这个文件夹中，可能包含了上述步骤的各种输出文件，如比对结果、去重后的序列文件、OTU表、分类注释文件等。这些文件是后续生物信息学分析的基础，可以用于探究微生物群落的组成、丰度、差异以及...
lamplic:全长扩增子分析
04-14
5. **数据解读**：对检测到的变异进行功能注释，分析其生物学意义。 通过这样的分析，科学家能够获取更全面的基因信息，帮助他们在遗传疾病研究、微生物多样性探索、进化分析等多个领域取得重要进展。而“lamplic”...
25QIIME2扩增子分析流程1
08-03
【QIIME2扩增子分析流程1】是关于微生物组学分析的教程，主要针对16S扩增子数据的处理。QIIME（Quantitative Insights Into Microbial Ecology）是一个开源软件套件，用于微生物生态学研究，而QIIME2是其升级版本，...
按照物种丰度对OTU表格进行拆分-丰富和稀有物种识别
sinat_39690421的博客
05-07 872
丰富物种 (abundant taxa, AT)，在所有的样本中丰度均高于1%；条件稀有物种（CRT），仅在一些样本中相对丰度低于0.01%，但从不高于1%条件丰富物种（CAT），仅在一些样本中相对丰度高于1%，但从不低于0.01%中等丰度物种（MT），在所有样本中相对丰度介于0.01%和1%之间。在部分样本中的丰度在低于0.1%，同时在部分样本中的丰度高于1%。在所有样本中丰度均低于1%，同时在部分样本中丰度低于0.1%；在所有样本中丰度均高于0.1%，同时在部分样本中丰度高于1%；
DADA2处理原始序列获取ASV特征表与物种注释表
HUANWEIFENXI的博客
04-13 7624
一、软件介绍 DADA2(Divisive Amplicon Denoising Algorithm 2)是一个用于建模和修正多种测序平台（Illumina、Roche 454）测序扩增子错误的开源软件（R）包。在扩增子分析处理流程中，DADA2算法能够准确地推断样本序列并寻找出单个核苷酸的差异(往往能够比其他方法识别出更多真实变体和输出更少的虚假序列）。DADA2是一个通过构建错误率模型来推测扩增子序列是否来自模板的算法，以自身数据的错误模型为参数，不用依赖于其他参数分布模型。DADA2最重要的优势是用了
注释表中提取特定的OTU注释行
weixin_67608357的博客
02-20 458
起因是笔者选取了otu table中的部分otu，另外有全部otu的注释表(taxonomy)，有些分析需要保证otu table中的otu数目和taxonomy中otu数目一致，不然就会出现以下报错。所以目的就是筛选taxonomy中的ASV，让它跟otu表格是能对应上的。略做学习记录，欢迎交流指正。接下来是我原始的数据格式。taxonomy表格。
微生物数据处理—Microbiomeanalyst在线分析
weixin_42480153的博客
12-23 1558
ZOTU表处理方法参见本人前述zotu流程 1 OUT表准备 用excel打开文件zotutab.vsearch.count_table，第一列列名改为#NAME，第二列删除 文件另存为csv格式文件 2 准备meta文件 Excel新建一个表格，第一列是样品名，第二列是处理分组信息，文件另存为csv格式 3 准备物种注释文件 用Excel打开zotus1.nr_v138.wang.taxonomy,选中第二列，替换，查找内容输入(*)，点全部替换 选...
R语言数据高效处理指南——基本数据处理
m0_61027476的博客
09-17 1429
1 数据集基本探索 str、summary、head这三个函数，是对数据框进行探索性分析的“三板斧”。 > str(iris) 'data.frame': 150 obs. of 5 variables: $ Sepal.Length: num 5.1 4.9 4.7 4.6 5 5.4 4.6 5 4.4 4.9 ... $ Sepal.Width : num 3.5 3 3.2 3.1 3.6 3.9 3.4 3.4 2.9 3.1 ... $ Petal.Length: n
基于vegan包对otu表抽平——微生物抽平
weixin_44557372的博客
04-11 5075
基于vegan包对otu表抽平
扩增子分析流程 qiime2
07-05
### 回答1： 扩增子分析流程是一种用于分析环境样品中微生物群落的方法，常用于研究微生物的多样性、结构和功能。QIIME 2是一款流行的用于扩增子分析的开源软件包，它提供了丰富的工具和流程来处理和分析扩增子数据。 QIIME 2的分析流程通常包括以下主要步骤： 1. 数据预处理：首先，需要对原始的扩增子测序数据进行质控和过滤，以去除低质量的序列和嵌入式引物。 2. 物种注释：对过滤后的序列进行比对，使用参考数据库（如Greengenes和Silva）进行物种注释，以确定每个序列的分类学归属。 3. 生成特征表：利用序列分类结果，将每个样品的序列计数编码到一个特征表中，该表记录了每个物种或OTU（操作分类单位）在每个样品中的相对丰度。 4. Alpha多样性分析：通过计算各个样品的Alpha多样性指数，如物种丰富度和均匀性指数，来评估样品内部的多样性。 5. Beta多样性分析：通过计算样品间的Beta多样性距离，如Bray-Curtis和Jaccard距离，来比较样品之间的微生物群落差异，并可视化为PCoA（主坐标分析）图。 6. 群落结构分析：使用各种统计方法，如ANOVA（方差分析）和PERMANOVA（多变量方差分析），来检测具有显著差异的物种或OTU，并识别对样品群落结构有影响的因素。 7. 功能预测：利用功能预测软件，如PICRUSt和Tax4Fun，根据扩增子数据中的物种注释信息，推断微生物群落的功能组成。 总之，QIIME 2是一种功能强大的工具，可以帮助研究人员从扩增子测序数据中获取丰富的信息和洞察力，并在微生物生态学、生物地球化学和医学等领域有着广泛的应用价值。 ### 回答2： QIIME2是一种用于从高通量测序数据中进行微生物群落分析的开源软件。扩增子分析流程是QIIME2中的一个重要模块，用于处理和分析扩增子测序数据。 扩增子分析流程主要分为以下几个步骤： 1. 数据准备：将测序生成的原始数据导入QIIME2，并进行质量控制和序列去噪。这一步骤包括对测序错误进行校正和剔除低质量序列。 2. 物种注释：通过比对序列数据库（如Greengenes或Silva）将序列注释为对应的物种或OTU（操作性分类单元）。这一步骤可以帮助了解样本中存在的微生物种类和丰度。 3. Alpha多样性分析：计算样本内的多样性指数，如Shannon指数和Simpson指数，用于评估微生物群落的多样性程度。该分析可以显示样本内微生物的丰富度和均匀性。 4. Beta多样性分析：计算样本间的多样性差异，并进行聚类分析或PCoA（主坐标分析）来展示样本间的相似性和差异性。这一步骤可以帮助分析群落结构的相似性和差异性。 5. 物种组成分析：通过计算不同样本间的物种组成差异，使用统计学方法（如ANOVA或PERMANOVA）来鉴定群落结构差异的显著性。这一步骤可以帮助了解不同条件下微生物群落的变化。 6. 功能预测：根据16S rRNA序列或ITS序列的相对保守性，通过推断出的物种信息，对微生物群落的功能进行预测，并探索样本中存在的功能差异。 通过上述步骤，扩增子分析流程可以帮助研究人员了解微生物群落的组成、丰度、多样性和功能，从而探索微生物与宿主或环境的相互作用。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值