徐洲更hoptop-CSDN博客

原创我的Rust编程第一课

在2020年5月17日，HengLi在它的一篇博客「Fast high-level programming languages」提到，他一直在寻找一门编程语言，生物学家容易使用而且速度还快。( I have always been searching for a high-level language that is fast and easy to use by biologists. )于是在这篇博客中，他评估了一些高级编程语言的处理速度，包括，C, Python, Javascript, LuaJ.

2021-08-29 13:08:47 2100

原创如何用WGDI进行共线性分析(一点五)

在如何用WGDI进行共线性分析(一), 我们基于blastp的结果绘制了点图，之后用 -icl 模块进行进行共线性分析，得到了 collinearity 结果。后面就直接基于该文件开始计算ka/ks，然后绘制ks plot.但是，在那篇教程的时候，我其实还有一个问题，就是能不能直接根据 collinearity 结果绘制点图呢？在WGDI提供的流程示意图中，没有这一分支虽然自己写代码实现也不复杂，但是为了避免重复造轮子，我们使用了JCVI的图形模块绘制dotplotjcvi.graphcis.do

2021-08-18 20:39:13 1928

原创如何在IGV上使用BLAT搜索非模式物种(续)

在如何在IGV上使用BLAT搜索非模式物种中，我们讨论如何用Apache的CGI服务器，来响应IGV发送的BLAT请求。考虑到我们大部分的时候都是个人使用，并不需要Apache这种重量级的Web服务器，因此完全可以省去这一组件。我之前学过Python和Django和Flask这两种网页应用框架，其中Flask比较轻量，非常适合我们这种小型应用。因此，我就用Flask编写了一个Blat网页应用，用来响应IGV的请求。首先，安装Flask（为了避免冲突，我用了虚拟环境)mkdir myprojectcd

2021-08-18 14:40:32 328

原创如何在IGV上使用BLAT搜索非模式物种

IGV提供了BLAT，用于进行序列搜索，但可惜我一直用不上，因为它默认是调用了UCSC的CGI工具，将我们的输入序列发送到https://genome.ucsc.edu/cgi-bin/hgBlat处理，处理后返回JSON文件用于展示。因此，除非我们自己搭建一个UCSC类似的网站，否则，无法用到IGV的这个功能。我觉得肯定不只是我一个人有这个问题，所以我就去谷歌上用关键词 “custom genome BLAT IGV” 进行检索, 果然发现有很多人都有类似的需求，我找到最早一条是2016年，但是距今.

2021-08-17 20:21:31 702

原创 hifiasm对HiFi PacBio进行组装

hifiasm是一个能有效利用PacBio HiFi测序技术，在分型组装图(pahsed assembly gprah)中可靠的表示单倍体信息的算法。流程介绍hifiasm的分析流程如下，主要分为3个阶段第一阶段：通过所有序列的相互比对，对前在测序错误进行纠正。如果一个位置只存在两种碱基类型，且每个碱基类型至少有3条read支持，那么这个位置会被当作杂合位点，否则，视作测序错误，将被纠正。第二阶段：根据序列之间的重叠关系，构建分型的字符串图(phased string graph)。其中调整朝向的序

2021-07-28 15:08:37 8113 5

原创 Seurat执行FindNeighbor出现invalid class “Graph“ object: superclass “Mnumeric“ not defined报错

前些天发现自己系统里的一些R包实在太久了，于是头脑一热就把所有包都升级了。结果运行Seurat的时候，就卡在 FindNeighbor 了。运行到一半就提示如下报错Error in validObject(.Object) : invalid class “Graph” object: superclass "Mnumeric" not defined in the environment of the object's class于是我发动科研工作者的技能，search，查了查相关的资料，发

2021-05-08 09:59:54 5405 3

原创加载org.Hs.eg.db为什么出现error: $ operator is invalid for atomic vectors报错和解决方法

在Bioconductor上已经有人提了问题，并且有了回答（地址：https://support.bioconductor.org/p/9136329/）简单的说，就是Rstduio出来背锅，估计以后版本的Rstudio会修复这个bug。下面是解决方法方法1 手动设置环境变量options(connectionObserver = NULL)方法2: 装个旧版本RSQLite，2.2.5之前即可install.packages("remotes")remotes::install_versi

2021-04-19 13:07:14 6718 5

原创为什么Python中df.loc[df.a ＞ 2 & df.b ＞ 3, :]做行筛选时会报错

我们分别在R和python中构建一个数据框，用1到9进行填充，有3列，对应a,b,cR代码如下mat = matrix(1:9, nrow = 3, ncol = 3,byrow = TRUE)df = as.data.frame(mat)colnames(df) <- c("a","b","c")Python代码如下import numpy as npimport pandas as pdmat = np.array(range(1,10))mat = mat.reshape(3

2021-04-15 23:13:49 977

原创 Github上项目克隆速度太慢怎么办（2）

之前写过 Github上项目克隆速度太慢怎么办，想想还是太麻烦了。最近总觉得Github的访问速度变慢了，导致我的工作效率也肉眼可见的降低了，主要体现在代码数量和质量的双重降低。为了解决这一问题，我通过网络检索找到了一个非常好的工具，叫做dev-sidecar (https://github.com/docmirror/dev-sidecar), 这个工具的好处在于，图形化界面，完美解决...

2021-04-06 09:33:57 71 1

原创如何提高Github的访问速度

最近总觉得Github的访问速度变慢了，导致我的工作效率也肉眼可见的降低了，主要体现在代码数量和质量的双重降低。为了解决这一问题，我通过网络检索找到了一个非常好的工具，叫做dev-sidecar (https://github.com/docmirror/dev-sidecar), 这个工具的好处在于，图形化界面，完美解决了windows和MacOS上的问题，但...

2021-04-06 09:09:19 973

原创我的OS X系统使用小结

最近硬盘出现了故障，为了恢复确认问题，我的Windows电脑就一直运行坏道检测程序，暂时将工作迁移到我的MacBook Pro(后面简称为MBP)上进行。这里简单总结下自己是如何使用MBP进行做的。原本计划是用我的小米游戏笔记本，但是不知为何，即便是非游戏模式，风扇偶尔也会狂转，产生很大的噪音。相反，MBP非常安静，就是有点烫手。我的MBP是17年款，13寸屏幕，蝶式键盘。为了不烫手，提高使用体验，我配置了如下的外设DELL的27寸的显示屏（P2719H)一根Type-C转HDMI的转换

2021-03-24 22:28:05 1500

原创 conda安装bowtie2的报错:undefined symbol

使用conda安装bowtie2遇到undefined symbol报错/public/home/xuzhougeng/miniconda3/envs/bsseq/bin/bowtie2-build-s: symbol lookup error: /public/home/xuzhougeng/miniconda3/envs/bsseq/bin/bowtie2-build-s/public/ho...

2021-03-23 16:11:28 4527

原创如何用WGDI进行共线性分析(下)

在上一篇教程的最后，我写道「我们能够更加直观的观察到2个peak，基本确定2个多倍化事件」。这里就引出了一个问题，为什么我们可以根据peak来推断多倍化时间？在Lynch和Conery在2000年发表在Science的论文中，他们证明了小规模基因复制的Ks分布是L型，而在L型分布背景上叠加的峰则是来自于演化历史中某个突然的大规模复制事件。例如下图a中，实线是小规模复制的L型分布(呈指数分布, ex...

2021-02-24 10:48:40 2515 1

原创如何用WGDI进行共线性分析(中)

Ks可视化我们在上一篇如何用WGDI进行共线性分析(一)得到共线性分析结果和Ks值输出结果的整合表格文件后，我们就可以绘制Ks点阵图和Ks频率分布图对共线性区的Ks进行探索性分析，从而确定可能的Ks峰值，用于后续分析。Ks点阵图最初绘制的点图信息量很大，基本上涵盖了历史上发生的加倍事件所产生的共线性区。我们能大致的判断片段是否存在复制以及复制了多少次，至于这些片段是否来自于同一次加倍事件则不...

2021-02-24 10:48:30 3245

原创 WGDI之深入理解blockinfo输出结果

blockinfo模块输出文件以csv格式进行存放，共23列，可以用EXCEL直接打开。block info其中16列非常容易裂解，描述如下id 即共线性的结果的唯一标识chr1,start1,end1 即参考基因组(点图的左边)的共线性范围(对应GFF1的位置)chr2,start2,end2 即参考基因组(点图的上边)的共线性范围(对应GFF2的位置)pvalue 即共...

2021-02-24 10:47:35 825

原创如何用WGDI进行共线性分析(三)

在上一篇教程的最后，我写道「我们能够更加直观的观察到2个peak，基本确定2个多倍化事件」。这里就引出了一个问题，为什么我们可以根据peak来推断多倍化时间？在Lynch和Conery在2000年发表在Science的论文中，他们证明了小规模基因复制的Ks分布是L型，而在L型分布背景上叠加的峰则是来自于演化历史中某个突然的大规模复制事件。例如下图a中，实线是小规模...

2021-02-23 17:18:00 1650 2

原创如何用WGDI进行共线性分析(二)

Ks可视化我们在上一篇如何用WGDI进行共线性分析(一)得到共线性分析结果和Ks值输出结果的整合表格文件后，我们就可以绘制Ks点阵图和Ks频率分布图对共线性区的Ks进行探索性分析，从而确定可能的Ks峰值，用于后续分析。Ks点阵图最初绘制的点图信息量很大，基本上涵盖了历史上发生的加倍事件所产生的共线性区。我们能大致的判断片段是否存在复制以及复制了多少次，至于这...

2021-02-02 15:56:46 1382

原创如何用WGDI进行共线性分析(上)

多倍化以及后续的基因丢失和二倍化现象存在于大部分的物种中, 是物种进化的重要动力。如果一个物种在演化过程中发生过多倍化，那么在基因组上就会存在一些共线性区域(即两个区域之间的基因是旁系同源基因，其基因的排布顺序基本一致)。例如拟南芥经历了3次古多倍化，包括2次二倍化，一次3倍化 (Tang. et.al 2008 Science)...For example, Arabidopsis th...

2021-02-01 14:50:09 7073 2

原创如何用WGDI进行共线性分析(一)

多倍化以及后续的基因丢失和二倍化现象存在于大部分的物种中, 是物种进化的重要动力。如果一个物种在演化过程中发生过多倍化，那么在基因组上就会存在一些共线性区域(即两个区域之间的基因是旁系同源基因，其基因的排布顺序基本一致)。例如拟南芥经历了3次古多倍化，包括2次二倍化，一次3倍化 (Tang. et.al 2008 Science)...For example...

2021-02-01 13:57:32 1777

原创「小技巧」如何让IGV更快的加载GTF和GFF注释文件

很简单，就下面3行命令gff=(grep ^"#" $gff; grep -v ^"#" $gff | sort -k1,1 -k4,4n) | bgzip > sorted.gff.gz;tabix -p gff sorted.gff.gz;第一行的gff是定义输入文件。第二行是对GFF文件进行排序。第三行是利用HTSLIB中的tabix工具建立索...

2021-01-23 19:03:03 2438 1

原创如何给bioconda贡献recipes

bioconda是conda中专门用来管理生物信息相关软件的频道。绝大部分的用户都是利用bioconda安装软件，绝大部分的教程也都是教大家如何去使用bioconda安装软件。但是bioconda的便利性并不是从天而降的，而是无数的软件开发者持续的不断的贡献和更新一些软件的recipe (菜谱) 的结果。这篇教程就是教大家如何在一个软件没有bioconda的安装方式时，自己动手写一个菜谱。准备工作首先，我们在https://github.com/bioconda/bioconda-recipes 上f

2021-01-20 20:14:20 545 1

原创通过X11转发在服务器上用IGV

通常情况下，我们无法是直接在服务器上打开IGV，因为它既要求服务器上安装X服务，本地也要安装X服务，才能将服务器上的图形信息转发到本地。事实上是要配置好X11转发，就可以在服务器上运行其他的图形界面程序。第一步: 在服务器上配置Xserver(需要管理员权限)sudo yum install xorg-x11-server-Xorg xorg-x11-...

2021-01-18 10:07:16 831

原创 HiC-Pro的Singularity简明使用指南

关于原理部分和更详细的介绍，见HiC-Pro: Hi-C数据预处理高效工具, 这里只介绍如何快速使用Singularity的HiC-Pro进行数据分析。关键内容就是，config-hicpro.txt 里的文件路径信息都必须是绝对路径，否则默认都位于annotation目录下。切记，切记，切记。第零步: Singularity的HiC-Pro镜像下载,# 下载mkdir -p /opt/b...

2020-11-20 16:15:00 1183 1

原创折腾了一下，让博客访问速度变快了

最近一直在写笔记，而没有更新系统性的内容，所以也很久没有打开自己的博客(xuzhougeng.top)，最近打算更新一篇笔记的时候，发现博客居然打不开了。我查了查原因，发现有两方面的问题我使用halo建站，服务器地理位置不太好我用的halo主题太笨重了，需要加载太多的css找到问题之后，就很好解决了。我首先迁移了博客，发现访问速度并没有明显提升。接着，我通过浏览器的开发者工具，检查哪...

2020-11-03 10:12:41 455

原创基于igv.js的一个小工具

当我想查看软件运行结束后得到的BAM, BigWig, BED和GTF文件时，我都需要先把他们下载到本地，然后用IGV打开。每每这个时候，我就会非常痛苦，因为我懒得下载。为了解决这个问题，我基于igv.js 写了一个Python脚本，可以根据提供的参考基因组，bam文件输出一个网页，然后通过利用 node.js 或者 Python的网页服务器打开一个端口，直接在...

2020-11-02 22:05:02 478

原创一个基于igv.js实现的python脚本，实现简单的网页版IGV

当我想查看软件运行结束后得到的BAM, BigWig, BED和GTF文件时，我都需要先把他们下载到本地，然后用IGV打开。每每这个时候，我就会非常痛苦，因为我懒得下载。为了解决这个问题，我根据igv.js 写了一个Python脚本，输出一个网页，然后通过利用 node.js 或者 Python的网页服务器打开一个端口，直接在网页上进行查看。代码地址: https://github.com/x...

2020-11-02 18:36:56 1400 1

原创 prefetch已经不再支持Aspera了

在之前的写的教程中，我讲到从NCBI下载SRA数据时，都会教大家配置Aspera，提高下载速度。之前一直有人问我为什么最近无法prefetch下载数据时即便指定了ascp，但是依旧用HTTPS呢？我之前一直以为是该数据并不支持ascp的下载方式，结果现在发现是所有NCBI的SRA数据都不在支持了。有人在Github上提问为什么 prefetch不能使用fasp下载，作者的回复内容如下NCB...

2020-10-27 15:56:12 2587

原创如何安装JCVI

使用conda安装conda create -y -c bioconda -n jcvi jcvi使用时需要启动环境conda activate jcvi在此基础上可以更新到最新版的JCVI (Github版本会不断的增加新功能并修订bug）pip install git+git://github.com/tanghaibao/jcvi.git安装额外的依赖环境Kent tools...

2020-10-22 14:26:25 4168

原创在Linux上不依赖管理员安装LaTex

LaTex的安装并不需要管理员权限You do not need to be root (administrator on Windows) to install, use, or manage TeX Live. Indeed, we recommend installing it as a normal user, except perhaps on MacOSX, where it's ...

2020-10-22 14:25:57 490 1

原创如何在不使用root权限下安装Latex

LaTex的安装并不需要管理员权限You do not need to be root (administrator on Windows) to install, use, or manage TeX Live. Indeed, we recommend installing it as a normal user, except perhaps on Ma...

2020-10-22 02:20:57 693

原创使用3D-DNA流程，结果不升反降怎么破？

之前我写过一篇利用3D-DNA流程基于Hi-C提升基因组组装，那个时候我做的项目并不多，也没有遇到坑，直到最近我用3D-DNA流程进行基因组组装，发现结果出乎意料Fig1在上图中，蓝色框表示组装出来的scaffold，其余则是3D-DNA认为的debris，也就是边角料。谁能想到一个基因组有那么多的边角料呢？经 @上海欧易生物-鲍志贵的提醒，我检查了genome.0.hic, 也...

2020-09-10 15:49:27 4084 2

原创「R shiny 补充」如何调试程序的错误

在使用Shiny Server托管应用时，可能会在运行中遇到错误，这个错误并不会直接输出在终端，也不会输出在网页上。默认情况下，这类文件输出在/var/log下。分为两类Shiny 服务的日志: /var/log/shiny-server.logShiny 应用的日志: /var/log/shiny-server/*.log其中应用的日志就记录了网页应用运行时报错的错误信息，命名格式...

2020-08-31 10:09:53 492

原创如何爬取微信公众号的所有文章

准备阶段为了实现该爬虫我们需要用到如下工具Chrome浏览器Python 3 语法知识Python的Requests库此外，这个爬取程序利用的是微信公众号后台编辑素材界面。原理是，当我们在插入超链接时，微信会调用专门的API（见下图），以获取指定公众号的文章列表。因此，我们还需要有一个公众号。fig1正式开始我们需要登录微信公众号，点击素材管理，点击新建图文消息，然...

2020-08-25 13:21:25 7831 4

原创 RStudio后台运行任务

RStudio 的1.1.463 是支持32位Windows系统的最后一个版本，在升级到1.2版本之后，除了只能在64位系统运行外，RStudio还增加了一项后台运行任务的功能。一开始我以为，这个功能可以让我将当前的程序丢到后台，然后继续运行下一行，但后来发现并不是我想的那么高级。它只是简化了调用Rscript运行代码步骤而已。下面以一个例子来介绍下该功能，当我们在当前工作环境下运行了i &lt...

2020-08-20 12:18:44 2846