转录组RNA-Seq使用docker+bioconda实现分析环境搭建

最新推荐文章于 2024-07-02 17:52:50 发布
最新推荐文章于 2024-07-02 17:52:50 发布
阅读量1.6k 收藏 18
点赞数 2
分类专栏： Rna-Seq 转录组 生信分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39900139/article/details/109005162
版权

转录组RNA-Seq使用docker+bioconda搭建分析环境

前言

近期学习转录组分析，从ncbi下载数据，转成fastq，STAR/hisat2 map到基因组上，使用featureCount拿到表达矩阵文件挺顺利的，就是到了下游分析，开始使用R开始遇到了各种问题。

原因是之前一直使用的一个docker 环境是基于ubuntu 16.04的，上面的R版本是3.2.3，在进行下游分析的时候各种R包安装不上，原因也是R版本太旧。经历了各种问题之后终于忍无可忍，决心重新构建一个RNA-Seq的docker分析环境，本文作为记录以备后查。

基于docker构建环境

笔者使用docker的方式属于网上不推荐的方式，类似于虚拟机镜像。原因就是懒得去编写dockerfile，感觉太麻烦。

极速安装docker

#docker急速安装，快速完成不浪费时间
# curl  -sSfL get.docker.io -o get_docker.sh
# bash  get_docker.sh --mirror Aliyun

极速安装docker-compose

#从以下网址下载docker-compose，将docker-compose文件放在path变量目录下如：/usr/local/bin
https://github.com/docker/compose/releases

选择docker镜像并构建基础镜像

因为之前的Ubuntu16.04过于老旧，这里直接选择Ubuntu20.04的镜像

#拉取ubuntu20.04镜像
docker pull ubuntu:20.04

#获取docker镜像列表
docker images 或者 docker image ls

#确认docker镜像拉取完成之后，使用该镜像创建一个docker容器
docker run --name first -it ubuntu:20.04 /bin/bash

#运行完成之后进入容器中
root@80cb4d36be59#

#安装ssh等软件
root@80cb4d36be59# apt update && apt install openssh-server vim net-tools curl

#安装完成之后修改ssh配置文件，便于远程登录
root@80cb4d36be59# vim /etc/ssh/sshd_config

#修改如下几行并保存
Port 9020  #修改默认端口号(可选)
ListenAddress 0.0.0.0  #默认监听地址，所有地址
LoginGraceTime 2m      #允许用户登录耗时（可选）
PermitRootLogin yes    #允许root用户登录，docker默认用户是root用户

#修改默认root账户密码，便于ssh远程登录
root@80cb4d36be59# passwd root

#启动ssh服务
root@80cb4d36be59# service ssh start

# 获取容器ip地址，
root@b8080a125313:/# ifconfig
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 172.17.0.2  netmask 255.255.0.0  broadcast 172.17.255.255
        ether 02:42:ac:11:00:02  txqueuelen 0  (Ethernet)
        RX packets 27095  bytes 55050990 (55.0 MB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 26785  bytes 2478368 (2.4 MB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        loop  txqueuelen 1000  (Local Loopback)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

#打开一个新的终端测试下连接
ssh root@172.17.0.2 -p9020

#如果可以连接上则第一步构建完成，我们commit创建自己的镜像，打开终端
docker commit first ubuntu20.04-ssh:1.00

第二阶段：安装bioconda构建基础生信镜像

  • 退出并删除之前运行的容器

    #退出之前的容器
root@80cb4d36be59# exit
#删除该容器
docker rm first

  • 编写docker-compose.yml文件，并使用docker-compose启动容器

    version: "3"
services:
  RNASeq:
    image: ubuntu20.04-ssh:1.00 #此处为我们之前提交的镜像名称
    container_name: rnaseq #运行容器名称
    volumes:
      - /media/sliver/Element1/data:/opt/data:rw  #外挂data目录，放置原始数据
      - /media/sliver/Manufacture/RNA-Seq/root:/root:rw #外挂root目录，bioconda安装位置，减小镜像体积
      - /media/sliver/Manufacture/RNA-Seq/ref:/opt/ref:rw #外挂reference目录
      - /media/sliver/Manufacture/RNA-Seq/result:/opt/result:rw #分析结果输出及中间文件目录
    ports:
      - "9020:9020"
    network_mode: "host" #此处直接使用host模式，默认为bridge模式都可以，host模式注意不能与服务器端口冲突
    environment:
      - TZ="Asia/Shanghai" #通过变量设置时区，否则系统时间错误
    command: service ssh start -D  #启动容器时启动ssh服务便于远程连接

  • 使用docker-compose.yml文件启动容器

    docker-compose.yml文件目录下运行docker-compose up启动容器
并查看输出日志，看是否存在错误

  • 使用ssh登录镜像，并安装bioconda

    #这里使用127.0.0.1地址登录，每次容器重新运行ip地址172网段的会发生变动
ssh root@127.0.0.1 -p9020

#登录成功,安装bioconda
curl -O https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
sh Miniconda3-latest-Linux-x86_64.sh

#setup channels
conda config --add channels defaults
conda config --add channels bioconda
conda config --add channels conda-forge

    #直接修改配置文件，添加清华源 vim ~/.condarc
channels:
  - conda-forge
  - bioconda
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

    # 使配置文件生效
source ~/.bashrc

#安装几个软件测试下
conda install fastqc
conda install multiqc
conda install STAR
conda install hisat2

  • 构建bioconda 第二阶段镜像

    #测试没有问题，打开一个新的终端提交镜像，第二阶段镜像后续可以用于各种生信环境
docker commit rnaseq ubuntu20.04-bioconda

第三阶段，安装R、Bioconductor和RStudio-Server，构建用于RNA-Seq(转录组)的镜像

  • 安装R及Bioconductor

    #切换会刚才的容器内shell终端，安装R
apt install r-base

#安装完成之后查看版本
R --version
#得到输出如下：
R version 3.6.3 (2020-02-29) -- "Holding the Windsock"
Copyright (C) 2020 The R Foundation for Statistical Computing
Platform: x86_64-pc-linux-gnu (64-bit)

R is free software and comes with ABSOLUTELY NO WARRANTY.
You are welcome to redistribute it under the terms of the
GNU General Public License versions 2 or 3.
For more information about these matters see
https://www.gnu.org/licenses/.

#安装Bioconductor，终端中运行
R
#R环境提示符运行
if (!requireNamespace("BiocManager", quietly = TRUE))
    install.packages("BiocManager")
BiocManager::install()

#安装完成之后我们测试下，安装两个R包
BiocManager::install('edgeR')
BiocManager::install("DESeq2")

  • 安装RStudio Server，为了远程部署和运行R

    #安装RStudio Server
apt-get install gdebi-core
wget https://download2.rstudio.org/server/bionic/amd64/rstudio-server-1.3.1093-amd64.deb
gdebi rstudio-server-1.3.1093-amd64.deb

#创建配置文件
vi /etc/rstudio/rserver.conf
#添加如下语句
###在两个配置文件中添加以下语句
##系统的R程序所在位置，如果个人目录下有利用anaconda安装R，可能会报错
rsession-which-r=/usr/bin/R  
www-port=8787 ### 通过ip的8787端口连接


vi /etc/rstudio/rsession.conf
#添加如下语句
www-port=8787 ### 通过ip的8787端口连接

#添加用户sliver，用于登录RStudio Server
useradd sliver
passwd  sliver

#创建该用户home目录，否则登录成功，但是会报错 Unable to connect to service
mkdir /home/sliver
chown -R sliver /home/sliver

#检查Rstudio-server是否能够运行并启动服务启动
rstudio-server verify-installation
rstudio-server start

  • 打开浏览器输入：http://127.0.0.1:8787

  • 使用之前创建的用户sliver及密码登录：

  • 说明配置成功。

提交镜像，并修改docker-compose.yml文件

  • 提交镜像，用于RNA-Seq转录组分析

    #打开一个新的终端运行
docker commit rnaseq ubuntu20.04-rnaseq:1.00

#将当前容器导出为文件
docker export -o ubuntu_20.04_rnaseq.tar rnaseq

#迁移镜像可以从文件导入至镜像
docker import ubuntu_20.04_rnaseq.tar ubuntu20.04-rnaseq:1.00

  • 修改docker-compose.yml文件

    version: "3"
services:
  RNASeq:
    image: ubuntu20.04-rnaseq:1.00
    container_name: rnaseq
    volumes:
      - /media/sliver/Element1/data:/opt/data:rw #挂载数据目录
      - /media/sliver/Manufacture/RNA-Seq/root:/root:rw #挂载root目录
      - /media/sliver/Manufacture/RNA-Seq/ref:/opt/ref:rw #挂载reference目录
      - /media/sliver/Manufacture/RNA-Seq/result:/opt/result:rw #挂载中间文件和结果目录
    ports:
      - "9020:9020"  # ssh连接端口
      - "8787:8787"  # RStudio Server Web访问端口
    network_mode: "host" #网络模式为host，注意端口与服务器端口不能冲突
    environment:
      - TZ="Asia/Shanghai" #设置时区，方式时间不对
    command: /bin/bash -c "rstudio-server start && service ssh start -D" #同时启动两个服务
docker镜像文件及root目录打包下载

docker镜像 ssh登录 账户root 密码20201110; rstudio登录账户sliver密码20201110

root目录打包 外挂root目录打包

docker-compose.yml文件下载

weixin_39900139
关注
专栏目录
RNA-seq分析：Step1（软件的安装及配置）
沉香best的博客
08-19 2595
好几个月没有跑RNA-seq分析了，为防止遗忘，特整理分析流程于转录组分析专栏。RNA-seq分析是生信分析流程比较入门的操作，常规的分析主要包括差异基因表达分析、GO和KEGG分析和WGCNA分析。一般来说，前两个分析是最为常见的，第三个主要存在于纯转录组分析文章中。本文主要讲述转录组分析的第一步，软件的安装和配置。
RNA-seq转录组数据分析入门实战--环境部署
kerry_ma的博客
02-22 1252
笔记本中已经安装了anaconda，其中已经包含conda和pip包管理工具 准备创建一个新的虚拟环境用来学习生物信息学。 conda常用的命令。 1）conda list 查看安装了哪些包。 2）conda env list 或 conda info -e 查看当前存在哪些虚拟环境 3）conda update conda 检查更新当前conda 2.设置国内镜像（添加与生信相关的源）添加清华...
Bioconda软件安装神器：多版本并存、环境复制、环境导出
最新发布
悟道西方
07-02 792
在上面给出的链接下载Anaconda或Conda对应版本的分发包之后，安装就是运行下面的命令，根据提示一步步操作，主要是修改安装路径 (如果是根用户，可以安装到/anaconda下，其它任意目录都可以，但路径短还是有好处的；概念，可以简单的配置不同Python版本的环境、不同Python包的环境、不同R环境和R包的环境，对于生物信息软件繁杂的应用和频繁的更新提供了很大的便利。做培训时需要给参加培训的老师提供配置环境的脚本，之前都是提供一个Bash文件，更简单的方式是可以导出环境，自己配置时再导入就好了。
转录组分析-docker镜像安装使用-hisate2 的docker镜像
Julse的博客
08-17 558
安装docker 学会安装docker之后，想把转录组分析需要的所有软件都装上，后来发现没这个必要 需要一个难以安装成功的软件的时候，我们再去使用docker镜像即可 保持一个软件，一个docker的简洁即可 安装成功，主要是3步 参考教程 安装依赖包 sudo apt-get install \ apt-transport-https \ ca-certificates \ curl \ gnupg-agent \ software-properties-com
01 转录组数据分析——Windows 10 下Linux 环境配置
qq_29224095的博客
08-27 648
转录组分析 - 使用 sratoolkit docker镜像 - 目录挂载 - docker中的路径和linux中的路径
Julse的博客
09-01 330
文章目录下载 sratoolkit docker镜像使用fastq-dump使用 下载 sratoolkit docker镜像 镜像地址，命令描述 https://hub.docker.com/r/pegi3s/sratoolkit/ 下载命令 docker pull pegi3s/sratoolkit 使用fastq-dump docker run --rm -v /your/data/dir:/data pegi3s/sratoolkit fastq-dump SRR6175516 --outdir
Docker下安装Anaconda
YBAdiam的博客
10-29 6411
博主需要在远程ubuntu下面跑深度学习，众所周知，搭深度学习的环境非常耗费时间和精力，所以我选择了口碑比较好的docker容器配置环境，期间过程很顺利，但是遇到在docker下安装包时，因为没有安装anaconda，很多依赖包无法自动安装，Conda 安装 Python 包时，会附带安装各种用于硬件加速、协同的依赖包，在代码运行上更为快速、友好。 一、前期准备 在此之前，我们需要在自己和远程的电脑上安装配置好docker服务，并且有需要的话可以更换pip为国内源，加快pip安装的速度。 pip更换.
bviRNASeq:孕妇BVI项目的RNA-seq分析流程
04-16
以下说明概述了为母体BVI （细菌，病毒和免疫应答）项目运行RNA-seq分析管道的过程。 说明是针对参与华盛顿大学医学院项目的人员的。 因此，说明将在假设处理将于WashU RIS compute1使用计算服务器storage1和scratch...
如何用windows进行RNA-seq数据分析
04-29
RNA-seq数据分析通常需要使用一些专业的生物信息学软件和工具，比如Tophat、Cufflinks、DESeq2等。在Windows系统下，可以使用虚拟机或者Docker等方式来安装Linux系统，并在Linux系统下运行这些软件和工具。 以下...
Python-bcbionextgen这个工具箱为全自动高通量测序分析提供符合最佳实践的处理流程
08-11
3. **版本控制**：`bcbio-nextgen` 使用容器技术（如Docker或Singularity）封装软件环境，确保分析的一致性和可重复性，避免了“版本地狱”问题。 4. **全面的工具集**：集成了一系列经过验证的生物信息学工具，如...
多发性硬化患者单核细胞的转录组学分析及发现候选基因
医学信息学解锁23（2021）100563多发性硬化患者单核细胞的转录组学分析及其候选基因的发现作者声明：Robert H. Lipsky a，d，M. Saleet Jafri a，e，*a系统生物学学院，乔治梅森大学，费尔法克斯，弗吉尼亚州，22030...
bioconductor_docker:用于生物导体的Docker容器-新功能！
03-20
用于生物导体的Docker容器 软件打包到称为容器的自包含环境中，其中包含运行必需的依赖项。容器可以通过在包括Windows和Mac（使用现代Linux内核）的任何操作系统上运行。 还可以使用或部署在云中。 快速开始 安装Docker 使用Bioconductor和RStudio运行容器 docker run \ -e PASSWORD=bioc \ -p 8787:8787 \ bioconductor/bioconductor_docker:devel 该命令将在本地计算机上运行bioconductor/bioconductor_docker:devel容器bioconductor/bioconductor_docker:devel 。 RStudio将在您的Web浏览器上提供，网址为https://localhost:8787 。 USER被固定为始终为rstudio
RNA-seq、FPKM和Cuffdiff
01-06
RNA-seq RNA-seq即转录组测序技术，是将细胞内mRNA，nonconding-RNA等RNA或其中一些提取出来利用高通量测序技术进行测序和分析的技术，RNA-seq分析的主要目的是分析RNA对应基因的表达量。 RNA-seq的主要步骤如下：分离RNA——将RNA打断成小片段——RNA反转录为DNA，此后测序手段同DNA测序。 更详细步骤可参考： https://www.jianshu.com/p/d09e624efcab 前文提到RNA-seq的主要目的是得到RNA对应基因的表达丰度，为实现此目标需要将测序得到reads比对到基因组上，简单来说，比对到某基因的reads数量大，即说
Dockerfile:关于生物信息学软件的Dockerfile
04-17
Docker文件 关于生物信息学软件的Dockerfile 获取Docker映像 图片 存托处 标签 ubuntu lkalbert001 / ubuntu 14.04 反对 lkalbert001 /对立 2.0.8 VarScan2 lkalbert001 / varscan2 2.4.3 r基 lklabert001 / r-base 最新的 高帽2 lkalbert001 / tophat2 最新的 ONCOCNV lkalbert001 / oncocnv 最新的 质量管理体系 lkalbert001 / rseqc 高温超导 docker pull lkalbert001 / htseq 排序 docker pull lkalbert001 / msort MAT docker pull lkalbert001 / rmats Java8的 d
computational-genomics:天普大学的计算基因组学课程-Jody Hey教授
03-22
11. **转录组学**：介绍RNA-seq数据分析，包括质量控制、定量、差异表达分析以及转录剪接事件的检测。 12. **软件工具和工作流程**：了解如何使用Galaxy、Bioconda和容器化技术（如Docker）来管理和执行生物信息学...
利用 bioconda 管理生物信息软件
weixin_43843918的博客
03-26 6123
1 了解 conda，anaconda，miniconda，bioconda 1.1 conda conda是一个软件模块管理工具，也是一个可执行命令，其核心功能是包管理与环境管理，可以用来管理Python, R, Ruby, Lua, Scala, Java, JavaScript, C/ C++, FORTRAN等语言的模块。在python中使用比较多，有点类似于pip工具。 conda的用途： 快速安装、运行和升级包及其依赖项 在计算机中便捷地创建、保存、加载和切换环境 1.2 anaconda
Linux安装bioconda
beiaidewoniu的博客
04-11 4603
Linux安装bioconda简述安装使用 简述 bioconda，一个类似于360软件管家、yum、apt功能而致力于管理生物信息学相关软件的包。 conda：包管理软件。 miniconda：conda和python的集成环境。 anaconda：conda、python、科学计算等工具的集成环境。 可以通过安装miniconda后通过更改channels来配置成bioconda。 安装 ......
Bioconda安装与使用
iq1009的博客
09-21 4205
Bioconda允许您使用conda包管理器安装数千个与生物医学研究相关的软件包。
RNA-Seq数据分析：揭示未注释的剪接 junctions 和转录多样性
RNA-Seq技术可以提供全面的转录组图像，用于完整注释和量化任何样本中所有基因及其剪接异构体。尽管如此，充分利用这种技术需要复杂的计算方法。文章通过分析大量公开的RNA-seq数据集，揭示了人类基因剪接的多样性...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值