biobakery流程之有参宏基因组分析

最新推荐文章于 2024-05-28 10:01:04 发布
最新推荐文章于 2024-05-28 10:01:04 发布
阅读量2.7k 收藏 5
点赞数 1
分类专栏： 肠道微生物 文章标签： 宏基因组
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zd200572/article/details/113084829
版权

在这里插入图片描述
最近涉猎了一些有参宏基因组的部分，自己构建流程多少是有点难度的，特别是步骤衔接、资源管理部分，站在巨人的肩上，可以避免自己的错误参数设置，而且可重复性也会理有所保证。之前看过nf-core的流程，这里看下biobakery，docker部分参考了生信菜鸟团的鲍志炜在公众号 BioLinkX 生物信息学小组的推文。
在这里插入图片描述

1、安装

1）docker 省事模式

# 宏基因组有参分析
# 安装dokcer,这就不表了，官方教程即可
# docker 构建，参考鲍志炜 BioLinkX 生物信息学小组的推文
# 根据推文建立了Dockerfile, 然后构建
docker build -t zjd/biobakery:0.15.1 .
# 测试下
docker run --rm -it \
-v /media/:/tmp_data zjd/biobakery:0.15.1 /bin/bash
exit # 退出

2）或者conda也不错

# conda的安装也略了
# 建立环境
conda create -n biobakery
# 激活环境
conda activate biobakery
# 安装流程，选用北外的镜像加速，有版本2和3，这里选了3，还是速度有点慢
conda install -c ftps://mirrors.bfsu.edu.cn/anaconda/cloud/biobakery biobakery_workflows=3.0.0a7
# 然后发现kndeaddata不兼容，于是手动再装一遍
pip install kneaddata #好像会把依赖再装下

2、数据库准备

# 从国家微生物科学中心下载，加速不止半点，不过有时不稳定呢
# https://nmdc.cn/datadownload
# kneaddata
wget ftp://download.nmdc.cn/tools/kneaddata/human_genome/*  -c 
# humann3
wget -c ftp://download.nmdc.cn/tools/humann3/full_chocophlan.v296_201901.tar.gz .
wget -c ftp://download.nmdc.cn/tools/humann3/uniref90_annotated_v201901.tar.gz .
wget -c ftp://download.nmdc.cn/tools/humann3/full_mapping_v201901.tar.gz .
# metaphlan3
wget ftp://download.nmdc.cn/tools/humann3/metaphlan_databases/* -c

3、运行程序

# export STRAINPHLAN_DB_MARKERS=/tmp_data/biobakery_wmgx_demo/strainphlan_db_markers
# export STRAINPHLAN_DB_REFERENCE=/tmp_data/biobakery_wmgx_demo/strainphlan_db_reference
export KNEADDATA_DB_HUMAN_GENOME=/tmp_data/db/kneaddata/human_genome
humann_config --update database_folders utility_mapping /tmp_data/db/humann3/utility_mapping
humann_config --update database_folders protein /tmp_data/db/humann3/uniref
humann_config --update database_folders nucleotide /tmp_data/db/humann3/chocophlan

cd /tmp_data/project/metagenomics_test
# --dry-run 流程运行
time biobakery_workflows wmgx --input ./ --output output_data \
--bypass-strain-profiling --local-jobs  2 --threads 8  \
--pair-identifier _1  --remove-intermediate-output # 这个参数是只输出命令测试 --dry-run

以下是一个运行例子：

biobakery_workflows wmgx --input ./ --output outputads 8 #--dry-runtrain-profiling --local-jobs  5 --threa
(Jan 23 07:27:31) [ 0/28 -   0.00%] **Ready    ** Task  4: kneaddata____s5-3
(Jan 23 07:27:31) [ 0/28 -   0.00%] **Ready    ** Task  0: kneaddata____s5-2
(Jan 23 07:27:32) [ 0/28 -   0.00%] **Started  ** Task  4: kneaddata____s5-3
(Jan 23 07:27:32) [ 0/28 -   0.00%] **Started  ** Task  0: kneaddata____s5-2

(Jan 23 08:33:31) [ 1/28 -   3.57%] **Completed** Task  0: kneaddata____s5-2
(Jan 23 08:33:31) [ 1/28 -   3.57%] **Ready    ** Task  8: metaphlan____s5-2
(Jan 23 08:33:31) [ 1/28 -   3.57%] **Started  ** Task  8: metaphlan____s5-2
(Jan 23 08:35:42) [ 2/28 -   7.14%] **Completed** Task  4: kneaddata____s5-3
(Jan 23 08:35:42) [ 2/28 -   7.14%] **Ready    ** Task 10: metaphlan____s5-3
(Jan 23 08:35:42) [ 2/28 -   7.14%] **Ready    ** Task  7: kneaddata_read_count_table
(Jan 23 08:35:42) [ 2/28 -   7.14%] **Started  ** Task  7: kneaddata_read_count_table
(Jan 23 08:35:42) [ 2/28 -   7.14%] **Started  ** Task 10: metaphlan____s5-3
(Jan 23 08:35:42) [ 3/28 -  10.71%] **Completed** Task  7: kneaddata_read_count_table
(Jan 23 08:49:19) [ 4/28 -  14.29%] **Completed** Task  8: metaphlan____s5-2
(Jan 23 08:49:19) [ 4/28 -  14.29%] **Ready    ** Task 13: humann____s5-2
(Jan 23 08:49:19) [ 4/28 -  14.29%] **Started  ** Task 13: humann____s5-2
(Jan 23 08:52:07) [ 5/28 -  17.86%] **Completed** Task 10: metaphlan____s5-3
(Jan 23 08:52:07) [ 5/28 -  17.86%] **Ready    ** Task 15: humann____s5-3
(Jan 23 08:52:07) [ 5/28 -  17.86%] **Ready    ** Task 11: metaphlan_join_taxonomic_profiles
(Jan 23 08:52:07) [ 5/28 -  17.86%] **Started  ** Task 15: humann____s5-3
(Jan 23 08:52:07) [ 5/28 -  17.86%] **Started  ** Task 11: metaphlan_join_taxonomic_profiles
(Jan 23 08:52:07) [ 6/28 -  21.43%] **Completed** Task 11: metaphlan_join_taxonomic_profiles
(Jan 23 08:52:07) [ 6/28 -  21.43%] **Ready    ** Task 12: metaphlan_count_species
(Jan 23 08:52:07) [ 6/28 -  21.43%] **Started  ** Task 12: metaphlan_count_species
(Jan 23 08:52:07) [ 7/28 -  25.00%] **Completed** Task 12: metaphlan_count_species

(Jan 23 14:19:38) [ 8/28 -  28.57%] **Completed** Task 15: humann____s5-3
(Jan 23 14:19:38) [ 8/28 -  28.57%] **Ready    ** Task 18: humann_regroup_UniRef2EC____s5-3
(Jan 23 14:19:38) [ 8/28 -  28.57%] **Ready    ** Task 23: humann_renorm_genes_relab____s5-3
(Jan 23 14:19:38) [ 8/28 -  28.57%] **Ready    ** Task 27: humann_renorm_pathways_relab____s5-3
(Jan 23 14:19:38) [ 8/28 -  28.57%] **Started  ** Task 18: humann_regroup_UniRef2EC____s5-3
(Jan 23 14:19:39) [ 8/28 -  28.57%] **Started  ** Task 23: humann_renorm_genes_relab____s5-3
(Jan 23 14:19:39) [ 8/28 -  28.57%] **Started  ** Task 27: humann_renorm_pathways_relab____s5-3
(Jan 23 14:19:39) [ 9/28 -  32.14%] **Completed** Task 27: humann_renorm_pathways_relab____s5-3
(Jan 23 14:19:43) [10/28 -  35.71%] **Completed** Task 23: humann_renorm_genes_relab____s5-3
(Jan 23 14:19:47) [11/28 -  39.29%] **Completed** Task 18: humann_regroup_UniRef2EC____s5-3
(Jan 23 14:19:47) [11/28 -  39.29%] **Ready    ** Task 25: humann_renorm_ecs_relab____s5-3
(Jan 23 14:19:47) [11/28 -  39.29%] **Started  ** Task 25: humann_renorm_ecs_relab____s5-3
(Jan 23 14:19:48) [12/28 -  42.86%] **Completed** Task 25: humann_renorm_ecs_relab____s5-3
(Jan 23 14:24:40) [13/28 -  46.43%] **Completed** Task 13: humann____s5-2
(Jan 23 14:24:40) [13/28 -  46.43%] **Ready    ** Task 16: humann_count_alignments_species
(Jan 23 14:24:40) [13/28 -  46.43%] **Ready    ** Task 17: humann_regroup_UniRef2EC____s5-2
(Jan 23 14:24:40) [13/28 -  46.43%] **Started  ** Task 16: humann_count_alignments_species
(Jan 23 14:24:40) [13/28 -  46.43%] **Ready    ** Task 19: humann_join_tables_genefamilies
(Jan 23 14:24:40) [13/28 -  46.43%] **Started  ** Task 17: humann_regroup_UniRef2EC____s5-2
(Jan 23 14:24:40) [13/28 -  46.43%] **Ready    ** Task 21: humann_join_tables_pathabundance
(Jan 23 14:24:40) [13/28 -  46.43%] **Started  ** Task 19: humann_join_tables_genefamilies
(Jan 23 14:24:40) [13/28 -  46.43%] **Ready    ** Task 22: humann_renorm_genes_relab____s5-2
(Jan 23 14:24:40) [13/28 -  46.43%] **Started  ** Task 21: humann_join_tables_pathabundance
(Jan 23 14:24:40) [13/28 -  46.43%] **Ready    ** Task 26: humann_renorm_pathways_relab____s5-2
(Jan 23 14:24:40) [13/28 -  46.43%] **Started  ** Task 22: humann_renorm_genes_relab____s5-2
(Jan 23 14:24:40) [14/28 -  50.00%] **Completed** Task 16: humann_count_alignments_species
(Jan 23 14:24:40) [14/28 -  50.00%] **Started  ** Task 26: humann_renorm_pathways_relab____s5-2
(Jan 23 14:24:41) [15/28 -  53.57%] **Completed** Task 21: humann_join_tables_pathabundance
(Jan 23 14:24:41) [16/28 -  57.14%] **Completed** Task 26: humann_renorm_pathways_relab____s5-2
(Jan 23 14:24:41) [16/28 -  57.14%] **Ready    ** Task 30: humann_join_tables_pathways_relab
(Jan 23 14:24:41) [16/28 -  57.14%] **Started  ** Task 30: humann_join_tables_pathways_relab
(Jan 23 14:24:41) [17/28 -  60.71%] **Completed** Task 30: humann_join_tables_pathways_relab
(Jan 23 14:24:41) [17/28 -  60.71%] **Ready    ** Task 33: humann_count_features_pathways
(Jan 23 14:24:41) [17/28 -  60.71%] **Started  ** Task 33: humann_count_features_pathways
(Jan 23 14:24:41) [18/28 -  64.29%] **Completed** Task 33: humann_count_features_pathways
(Jan 23 14:24:45) [19/28 -  67.86%] **Completed** Task 22: humann_renorm_genes_relab____s5-2
(Jan 23 14:24:45) [19/28 -  67.86%] **Ready    ** Task 28: humann_join_tables_genes_relab
(Jan 23 14:24:45) [19/28 -  67.86%] **Started  ** Task 28: humann_join_tables_genes_relab
(Jan 23 14:24:45) [20/28 -  71.43%] **Completed** Task 19: humann_join_tables_genefamilies
(Jan 23 14:24:49) [21/28 -  75.00%] **Completed** Task 17: humann_regroup_UniRef2EC____s5-2
(Jan 23 14:24:49) [21/28 -  75.00%] **Ready    ** Task 20: humann_join_tables_ecs
(Jan 23 14:24:49) [21/28 -  75.00%] **Ready    ** Task 24: humann_renorm_ecs_relab____s5-2
(Jan 23 14:24:49) [21/28 -  75.00%] **Started  ** Task 20: humann_join_tables_ecs
(Jan 23 14:24:49) [21/28 -  75.00%] **Started  ** Task 24: humann_renorm_ecs_relab____s5-2
(Jan 23 14:24:49) [22/28 -  78.57%] **Completed** Task 20: humann_join_tables_ecs
(Jan 23 14:24:49) [23/28 -  82.14%] **Completed** Task 24: humann_renorm_ecs_relab____s5-2
(Jan 23 14:24:49) [23/28 -  82.14%] **Ready    ** Task 29: humann_join_tables_ecs_relab
(Jan 23 14:24:49) [23/28 -  82.14%] **Started  ** Task 29: humann_join_tables_ecs_relab
(Jan 23 14:24:50) [24/28 -  85.71%] **Completed** Task 29: humann_join_tables_ecs_relab
(Jan 23 14:24:50) [24/28 -  85.71%] **Ready    ** Task 32: humann_count_features_ecs
(Jan 23 14:24:50) [25/28 -  89.29%] **Completed** Task 28: humann_join_tables_genes_relab
(Jan 23 14:24:50) [25/28 -  89.29%] **Started  ** Task 32: humann_count_features_ecs
(Jan 23 14:24:50) [25/28 -  89.29%] **Ready    ** Task 31: humann_count_features_genes
(Jan 23 14:24:50) [25/28 -  89.29%] **Started  ** Task 31: humann_count_features_genes
(Jan 23 14:24:50) [26/28 -  92.86%] **Completed** Task 32: humann_count_features_ecs
(Jan 23 14:24:50) [27/28 -  96.43%] **Completed** Task 31: humann_count_features_genes
(Jan 23 14:24:50) [27/28 -  96.43%] **Ready    ** Task 34: humann_merge_feature_counts
(Jan 23 14:24:50) [27/28 -  96.43%] **Started  ** Task 34: humann_merge_feature_counts
(Jan 23 14:24:51) [28/28 - 100.00%] **Completed** Task 34: humann_merge_feature_counts
Run Finished

大约十个小时一个样本的速度，如果采用8核心的话，速度是有点慢，但是宏基因组数据的巨大，导致数据处理的时间变长不可避免。这个流程还可以做一些其他分析的，毕竟获得一个profiling表只是开始，比较差异，计算多样性情况才是一般研究所需要的。

zd200572
关注
专栏目录
宏基因组有参分析和无参分析差异
ruby912的博客
06-15 3681
宏基因组有参分析和无参分析差异分析流程解决问题结果差异 本文参考宏基因组教程Metagenomics Tutorial (HUMAnN2) 分析流程 有参流程：质控–物种组成和功能组成分析–差异分析及可视化 无参流程：质控–物种分类–序列拼接–基因注释–去冗余–基因定量–功能注释–差异分析及可视化 注：无参分析需要非常大的比对数据库，所以服务器配置最低256G内存，推荐内存512G以上，以保...
有参转录组分析流程
BioinfoDu
12-05 1263
它提供了一套模块化的分析，你可以用它来快速了解你的数据是否有任何问题，在做任何进一步的分析之前，你应该注意到这些问题。，主要发表或收录生物信息学的教程，以及基于R的分析和可视化（包括数据分析，图形绘制等）；分享感兴趣的文献和学习资料!公共数据库的下载，可直接在NCBI中下载，或是使用自己测的数据即可。，点击“search"后即可看到以下的界面，其中”Geneome"就是作物的基因组数据，点击进去。(注：在NCBI中下载的基因组不一定是最新的版本，迫不得已尽量不要在这里下载)，此流程的操作依旧是非常简单的。
使用docker容器打包biobakery_workflows流程及其依赖项跑宏组学-仅供师妹参考
rememberxt1216的博客
03-26 937
用的是pip3安装，通过阿里源，这只包含biobakery_workflows的核心软件和依赖项，不包括kneadata,metaphlan和humann等软件，还需要自己下载安装。docker system df命令，类似于Linux上的df命令，用于查看Docker的磁盘使用情况。在这里，我挂载了宿主机上的一个目录，目录里是需要用到的数据库，文件相当大，docker的挂载很好用。strainphlan的数据库用的是metaphlan的数据库。宏转录组的kneaddata，以下几个命令行谁跑的好就用谁。
来自bioBakery Lab的宏基因组学微生物群落的代谢功能分析工具-HUMAnN 3.0的安装配置及分析使用方法-安装填坑
zrc_xiaoguo的博客
12-09 2857
HUMAnN 3.0 是一个用于宏基因组数据分析的工具，能够从宏基因组测序数据中推断出微生物群落的代谢功能信息。它可以识别微生物群落中存在的代谢途径，并定量这些通路的丰度。HUMAnN 3.0 依赖于多个工具和数据库来实现这些功能，其中包括 MetaPhlAn 3、DIAMOND、UniRef90 等。github.com。
JAVA构造方法（有参，无参）分析
qq_27008179的博客
12-06 978
JAVA构造函数分析一、总结二、例子 一、总结 ① 创建类时指定了有参构造方法后，系统默认不会创建无参数构造方法，需要手动创建。 ② 一个类中的多个构造方法，创建对象只能有一个被调用（除非在构造方法使用this()来调用类中其他的构造方法） ③ 创建子类时，若子类构造方法没有使用Super来调用父类的有参（无参就运行父类无参）构成方法，则会默认运行父类的无参数构造方法，若父类没有无参数构造方法，则运行失败。 ④ 创建子类时，总是先运行父类的构造方法（Super()和this()必须位于子类构造方法的第一行,
探索微生物世界：bioBakery —— 全面的元基因组分析工具
最新发布
gitblog_00070的博客
05-28 426
探索微生物世界：bioBakery —— 全面的元基因组分析工具 项目地址:https://gitcode.com/biobakery/biobakery 在微生物生态学领域，深入理解复杂环境中的微生物群落结构和功能是至关重要的。为此，我们向您推荐一款由哈佛大学公共卫生学院Huttenhower实验室开发的强大开源项目——bioBakery。这个项目提供了一系列用于元基因组（metagenomic...
Anaconda源配置
guhong1990的博客
08-03 1629
conda源 源文件 一般为 ~/.condarc 增加、删除或更改源顺序都可直接更改此文件 查看源列表 conda config --get channels 添加源 conda config --add channels bioconda 安装软件或者程序包 查询可安装软件或包的版本 conda search requests 列举所有已安装软件及软件相关包 conda list 安...
宏基因组大数据分析的质量控制流程规范
01-20
宏基因组数据具有数据量大...详细描述了宏基因组数据的质量控制流程，包括元数据和测序数据的信息检查、低质量片段的过滤等过程，从而为宏基因组数据分析提供了预处理的规范，这将为微生物组大数据分析提供坚实的基础。
病原微生物检测之16s与宏基因组
03-01
本文将对病原微生物检测之16S与宏基因组进行详细的介绍和分析。 微生物基本概念 微生物（Microbe/micro-organism）是指一些肉眼看不见的微小生物的总称，包括属于原核类的细菌、放线菌、支原体、立克次氏体、...
0045【宏基因组】-通过docker常用命令及安装qiime2
leadingsci的博客
06-15 2047
Docker简介 1.什么是容器 一种操虚拟化的方案 操作系统级别的虚拟化 只能允运行相同或相似内核的操作系统——只能允许linux 依赖于linux内核特性：Namespace和C groups（control group) 2. 容器的优点 内存占用 容器只需要占用应用的内存，而虚拟机需要占用几个G的系统硬件内存 硬件消耗 容器与宿主共同占用硬件消耗。而虚拟机需要单独...
WoM2023-Shotgun Metagenomic宏基因组 Data Аnalysis with bioBakery,on MetaPhlAn, StrainPhlAn, and cMD
zrc_xiaoguo的博客
12-08 1679
MetaPhlAn4安装方法：202310-宏基组学物种分析工具-MetaPhlAn4安装和使用方法-Anaconda3- centos9 stream-CSDN博客文章浏览阅读1.1k次。MetaPhlAn 4是一种基于DNA序列的微生物组分析工具，它能够从宏基因组测序数据中识别和分离微生物的组成。
Metagenomic workflow 宏基因组分析流程
Asa12138的博客
06-21 4176
宏基因组（Metagenome）是指对一个生态系统中的所有微生物进行DNA分析的过程，可以帮助研究人员了解微生物的多样性、功能和互作关系。这里介绍常用分析流程。
MetaPhlAn2-宏基因组分类谱工具
Cassiel60的博客
08-12 2157
 参考http://blog.sciencenet.cn/blog-3334560-1110159.html MetaPhlAn2是分析微生物群落(细菌、古菌、真核生物和病毒)组成的工具，它在宏基因组研究中非常有用，只需一条完命令即可获得微生物的物种丰度信息(扩增子物种组成需要质控、拼接、拆样本、切除引物、比对等步骤，此软件居然分析宏基因组这么方便)。同时配合自带的脚本可进一步统计和可视化。 ...
MetaPhlAn3安装及使用
dys的博客
09-21 1万+
文章目录简介安装数据库下载运行 简介 MetaPhlAn是一种物种注释工具，可从宏基因组鸟枪测序数据（即非16S）中分析微生物群落（细菌，古细菌和真核生物）的组成。使用StrainPhlAn，还可以执行准确的菌株级微生物分析。 MetaPhlAn使用序列比对marker基因，来获得相对丰度信息，相对于其他策略而言，物种检出较少，但假阳性较低，只能检出数据库内的物种。 MetaPhlAn2和MetaPhlAn3原理应该是一样的，最大的更新应该是数据库，MetaPhlAn3目前还没有文章。 At this
基础006 宏基因组入门理论以及分析环境的部署
刘永鑫的博客——宏基因组公众号
08-07 2646
本文“植物微生物组”公众号原创，ID: plantmicrobiome 作者：zhiwen 原文链接：基础006 宏基因组入门理论以及分析环境的部署 一、宏基因组核心思想 鉴定菌群组成 鉴定菌群内基因组成 鉴定功能基因组成 菌群之间的关系 菌群和宿主之间的关系 二、宏基因组的实验思路及流程 1. 实验设计、取样测序 1. 数据质控（宿主序列过滤） 1. 序列分析 ...
基因组组装
wangprince2017
09-08 6070
基因组组装 前言 基因组组装(Genome assembly)是生物信息学领域的核心问题，基因组组装就是把序列测序产生的读取片段reads经过序列拼接组装，生成基因组的碱基序列。基因组组装软件可根据得到的所有读长组装成基因组。基因组组装这个步骤对于基因组分析是十分关键的，因为目前二代测序技术获得的测序序列一般都较短，需要组装拼接成较长的完整的序列用于进一步分析，例如长序列能提高物种注释分析的准确性。 宏观来说，基因组组装可以分为从头组装(De novo assembly) 和映射比对组装(mapp
github workflows配置
【03】的博客
06-13 1347
.github/workflows/main.yml
R语言聚类分析--cluster, factoextra
热门推荐
刘永鑫的博客——宏基因组公众号
02-06 5万+
R语言聚类分析–cluster, factoextra 本文转载自“R语言中文社区”，己获授权，宏基因组公众号编辑对内容进行测试、修改及补充。 原文链接：https://mp.weixin.qq.com/s/M_rJqcHz6HUlGIHVeN4RkQ 对于有很多(成百上千)研究对象时，把对象分组是最常用的研究手段。而通过观察值进行聚类是非常有效的方法，可以按事物观察值有效的合理分组，再进一
自动化分析流程：基因组二代测序数据处理与变异检测
"这篇文章主要介绍了如何构建一个基于Perl语言和SGE资源管理系统的自动化分析流程，用于处理Illumina平台的基因组二代测序数据。流程涵盖了从原始序列数据到变异位点列表的全过程，包括数据预处理、比对、变异识别和...
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值