- 博客(37)
- 收藏
- 关注
RSS订阅原创 bp神经网络及ROC曲线绘制
bp神经网络及ROC曲线绘制首先需要导入要用到的包from tensorflow import kerasimport pandas as pdimport numpy as np从文本中读取训练数据data = pd.read_csv('test.txt', sep='\t')data_train = data.iloc[:500]x_train = np.array(data_train[['title1', 'title2', 'title3', 'title4', 'title5
2022-03-08 10:28:39
3733
1
原创 群晖NAS在线办公表格文件转成excel
群晖在线办公表格文件转成excel群晖共享excel表格为osheet格式，同步至本地电脑后本地电脑无法用office或者wps等办公软件处理。直接用记事本打开osheet文件，发现重要信息均为文本存储格式，可以做解析转存为osheet文件。osheet文件示例：x schema enc id # 1027_MQNCOFQNN90GT2AGIHOC62TSI0.sh ver ) 8948c4e945f51ccbb1165804d6dff3162e9bc290
2022-02-28 15:01:23
5294
原创 C++下的序列比对NeedlemanWunsch
最近使用C++写了NeedlemanWunsch算法，算法说明请参考之前用python实现的算法文章《基于numpy的基因序列比对算法NeedlemanWunsch》这里就直接贴代码了：#include <iostream>using namespace std;string target_str="ATCGATCGTG";string query_str="ACGACTACGTG";const int match_score = 1;const int mismatch_s
2021-09-03 16:10:57
634
原创 用python完成二代测序捕获区间设计
panel的设计其实很简单，根据实验目的来选择需要捕获的区域，我们需要做的就是把这些需要捕获的区域做成一个bed文件。下面就以BRCA1/2两个基因来举例子，一般bed都是设计在基因的CDS区，因为内含子区域往往包含很多低复杂度区域（比如重复区域），所以内含子的捕获性能往往较差，后期分析难度也高。我们需要先准备基因组注释文件，我从NCBI下载的最新版gtf文件（https://ftp.ncbi.nlm.nih.gov/refseq/H_sapiens/annotation/GRCh37_latest/
2020-12-24 17:01:33
654
4
原创 病原菌基因组快速搜索算法实现
算法来自(Wellcome Trust Centre for Human Genetics, University of Oxford)19年发表在NBT上的一篇文章这是文章的算法的示意图以及文章中的说明这个算法主要基于布隆过滤器(BloomFilter)，如文章中所示，首先我们要拟定几种不同的hash生成器，但是需要注意不能用python的hash()模块，因为hash()在每次重新调用脚本时生成的值都不一样。import hashlibdef my_hash(k_mer, index_
2020-06-23 15:01:35
362
原创 tensorflow实现卷积神经网络CNN
卷积神经网络是目前深度学习的核心网络结构，被广泛的应用于计算机图像识别。输入数据会通过多个卷积层及激活函数来获得输入数据的特征，每层之间的传递如下图：在上面的图例中，每一个输入层的一格对应卷积层的四格，也可以更多。当然，一个输入层往往对应了很多个卷积层，比如RGB图片就有三个输入层，R图层，G图层与B图层，然后输入到大于3层或小于3层或刚好3层的卷积层中。卷积层后往往会有池化层，比如每2X2的格子里挑出最大的一个值出来，完成池化层后继续输入到新的卷积层中，再是池化层，再是卷积层…这样构成深度学习的网
2020-06-19 17:12:16
346
原创 将cram/bam文件转换为fastq文件
NCBI下载的cram文件无法直接使用，需要先转成bam/sam文件，根据官网说明下载了cramtools，发现早已没有维护，报错如下：$ java -jar cramtools-3.0.jarError: Invalid or corrupt jarfile cramtools-3.0.jar所以就直接用samtools来转换，但是直接转换会报错：$ samtools view -b NA12878.final.cram > NA12878.bam &Failed to popu
2020-06-19 15:58:14
3430
原创 使用gatk检测WES数据中的cnv
gatk的cnv流程对环境依赖较高，需要调用许多python包，推荐在dockerhub里找官方镜像，或者用conda来配置环境。1、dockerhub 在本地的docker环境中直接拉取镜像，如果没有root权限就用conda安装。docker pull broadinstitute/gatk:4.1.6.02、conda 先下载一个miniconda或者anaconda，然后下载好ga...
2020-04-26 16:18:26
6439
12
原创 python字符串的格式化
在python中常常会用到字符串的格式化，而在python的格式化中出现频率最高的就是百分号。例如指定位置的字符串print("这是一个%s！" % "测试")打印结果为这是一个测试！百分号后的字符串就替换到了%s的位置上。另外还有%d表示整数，%f表示浮点数，%.2f保留两位小数，比如下面：test = "[%d]%s获得了%.2f分" % (1,"数学",59.9)prin...
2020-03-27 16:05:03
161
原创 PLA感知机
PLA是一个数据二分类的算法，要确保我们的数据是线性可分的，简单点说就是可以通过一条线将数据集一分为二，我们的目的就是要找到能将这些数据一分为二的这条线。第一步，随机找一个点，连接到原点，看这条线是否能把两堆数据分开，如果不能，则旋转这条线（更新权重），wt+1=wt+xt∗ytw_{t+1} = w_t + x_t*y_twt+1=wt+xt∗yt, xtx_txt是第t轮x的向量，...
2020-01-17 19:17:58
277
原创 通过Tensorflow实现全连接神经网络
全连接神经网络是人工神经网络中最简单的一种，中间每一个全连接层都会对输入节点乘上权重，然后加上一个bias，经过几层计算后通过一个激活函数输出节点，完成分类，如图:这类网络对图片识别效果并不理想，但是用于简单分类效果还不错的，中间过多的全连接层其实也只是线性变换，比如第一层为x∗w1+b1x*w_1+b_1x∗w1+b1，到了第二层就是(x∗w1+b1)∗w2+b2=x∗w1∗w2+b1...
2020-01-14 11:45:58
2472
原创 关于生信常用的PCA算法
PCA是一种常用的数据降维算法，主要就是根据特征值提出特征值较大的几个特征向量，并将高维向量投影到特征向量上以达到数据降维的目的。第一步当然是处理数据，将样本数据按列放入numpy的数据框（比如100个样本，每个样本4个数据，就是4行100列，反过来也可以，不过要注意调换内积的顺序）。数据需要先做归一化，以减去所有样本的均值来实现。from sklearn.datasets import l...
2020-01-09 18:06:12
1865
原创 基于numpy的基因序列比对算法NeedlemanWunsch
这是基于动态规划的一种文本比对算法，常用于基因组序列的比对。比如基因组上有一段序列为ATCGATCTGT，我需要比对的序列为ATCCATCAG，那么首先需要构建一个初始的打分矩阵： A. T. C. G. A. T. C. T. G. T. [[ 0. -1. -2. -3. -4. -5. -6....
2020-01-09 16:16:42
1133
1
原创 selenium抓取京东数据
最近有抓取商品数据的需求，数据量不多，我们使用selenium来抓取数据，效率不高，但是功能十分强大，并且很难被反爬，对网站也十分友好，不会给对方的服务器造成压力。仅供学习交流请勿用于商业用途首先需要拿到网址，比如我要搜饮料，然后在京东网页上测试链接就变成了上面这种形式，然后只提取我们需要的，把多余的字段去掉，测试一下如下网址即可访问到：https://search.jd.com/Sea...
2020-01-08 15:45:20
482
原创 通过贝叶斯公式计算阳性概率
今天有一个实习的小朋友说他们课程有一道题不知道怎么做，需要用贝叶斯公式计算阳性概率，题目如下：已知某病发病率5%，假阴率5%，假阳率5%，如果一个人检出了阳性结果，那么他患该病的可能性有多大？首先需要说明，假阳就是把没病的检成有病的，假阴就是把有病的检成没病的。然后搬出贝叶斯公式：p(x∣y)=p(x)∗p(y∣x)p(y)p(x|y) = \frac {p(x)*p(y|x)} {...
2020-01-07 16:16:08
7458
原创 逻辑回归（LogisticRegression）
如果我们根据身高、体重、年龄等来预测是否发生某种疾病，结果只有两种，1发生了，0没发生。这样就构成了一个二分类问题，而我们在处理二分类问题时常常会使用sign函数（取正负号），y为-1或者+1。但是这样处理对0.5左右的样本不友好，我们希望用概率来量化这件事情。所以需要调用sigmoid这个函数，将f(x)范围控制在(0,1)sigmoid(x)=11+e−xsigmoid(x) = \fr...
2020-01-07 12:09:09
250
原创 python中的T检验
在python中，检验常常是调用scipy.stats进行计算（官方文档：https://docs.scipy.org/doc/scipy/reference/stats.html#module-scipy.stats）T检验也是分为三大块：单样本T检验独立样本T检验配对样本T检验1、先说单样本T检验，我们先通过numpy生成一些正态分布的数据，然后看下单样本T检验from sci...
2020-01-03 16:16:44
10876
原创 以单例来讲如何用python来new一个对象
python和C语言不同，在构造函数时不能够分配内存空间，但是在构造函数时，也可以通过__new__函数来实现一些跟内存相关的操作，比如单例模式。估计有很多小盆友不知道什么是单例，python的单例就是在实例化时，不管实例化多少次都用的同一块内存空间。另外需要说明的是，构造函数需要用__new__来实现，而__init__为初始化函数，__init__在实例化时调用，__new__在构造函数时...
2019-12-31 13:54:00
1802
原创 线性回归算法（LinearRegression）
写一个简单的线性回归算法（LinearRegression），该算法主要基于最小二乘法来寻找最合适的权重。即通过最小二乘法解 y = w*X 中的w。这里X是一个向量，X=[x0, x1, x2, x3, …]，x0为1，用于抵消常数项，所求的w也实际上是w=[w0, w1, w2, w3, …]。根据最小二乘法，最合适的权重为(X.T*X)-1*X.T。（不清楚的小伙伴可以看百度百科）直接...
2019-12-30 13:52:48
453
原创 使用bcftools合并vcf过程中遇到的问题与解决方案
首先因为我的vcf并不是标准的vcf，我用的这些vcf是通过python拼凑了几个call snp软件的结果，所以遇到了各种问题，开帖记录一下。要对多个vcf文件进行合并，就是标准的压缩，做索引，然后merge：bcftools view sample.vcf -Oz -o sample.vcf.gzbcftools index sample.vcf.gzbcftools merge sa...
2019-12-27 15:39:22
9833
6
原创 property将方法变为属性
首先，@property是在一个类里面装饰一个函数的，并且在实例化过后可以通过访问属性的形式来访问函数，举个例子class Person: @property def work(self): return "I am working" def work2(self): return "I am still working...
2019-12-26 10:45:02
191
原创 python中的classmethod与staticmethod
classmethod、staticmethod是分别指定函数为动态方法还是静态方法，先看下面这个例子：class Person: def __init__(self, name): self.name = name @classmethod def work(cls, name): return "%s is working!!!" ...
2019-12-25 10:35:38
203
原创 sra文件下载及解析的问题
昨天在NCBI上下载了一份sra文件，使用fastq-dump提取fastq文件时遇到报错：2019-12-24T08:59:08 fastq-dump.2.9.6 sys: timeout exhausted while reading file within network system module - mbedtls_ssl_read returned -76 ( NET - Readi...
2019-12-24 17:21:27
4458
原创 【tornado建站】设置favicon及robots等文件
其实这类文件在tornado里设置的代码都是一模一样的，这里举两个例子，如果网站需要添加sitemap.xml等也是通过相同的方式添加。favicon.ico就是浏览器标签上的小图标，比如百度的狗脚印、github的那只猫…你可以自己做一个图标，用photoshop做一个400x400的正方形图标，然后保存为35x35大小的ico文件。也可以到网上去下载一个你喜欢的图标。准备好favicon...
2019-12-24 16:54:18
656
原创 【tornado建站】申请免费ssl证书http秒变https
如果域名已经申请好，并且解析OK了，你会发现地址是http://开头的，浏览器会打上一个不安全标签，这个时候就需要申请一个ssl证书了。我是在freessl官网上申请的免费证书。品牌选择TrustAsia，证书类型RSA，文件验证，然后浏览器生成fileauth.txt文件。把这个文件上传到自己的服务器，freessl网站需要通过访问/.well-known/pki-validation/fil...
2019-12-24 16:52:50
415
原创 【tornado建站】tornado+surpervisor+nginx环境安装及配置
【tornado建站】tornado+surpervisor+nginx环境安装及配置在上期文章中代码就已经完成了，接下来需要租一个服务器，并部署我们的网页了。先说说目前常用的一些服务器或主机。首先，虚拟主机我们是用不了的，虚拟主机往往是通个一个面板（cPanel）来部署控制，可玩性不强，往往不能通过shell来控制后台，即使有也没有root权限。而我们需要更自由的linux环境来操作。目...
2019-12-24 16:51:17
246
原创 【tornado建站】通过python将markdown文件转换成html
开始的时候有提到，我喜欢把笔记写成md文件，所以还得需要一个解析md文件并转换为html的脚本，转换好了并不需要输出文件来，而是直接写到mysql数据库中。所以是需要用到python的markdown模块，这里直接用pip安装。pip install markdown通过一下命令就可以直接将字符串转换成htmlmarkdown.markdown(text) 然后再添加读取文本的代码，...
2019-12-12 14:06:09
287
原创 【tornado建站】给网站添加在线绘图脚本
到上一篇文章已经完成了博客所需的基础框架，包括博客展示、分页及数据库内容读写等，这里还想要添加自动画图的功能先大致准备一下前端代码，因为后期还要添加其他画图工具，这里就先传入一个draw_type来标识：<section> <header class="main"> <h1>{{draw_type.upper()}}</h1> </...
2019-12-11 15:34:10
172
原创 【tornado建站】搜索博客内容
博客还需要添加一个搜索博客内容的模块，类已经在最开始的框架中定义，并且需要调用到上一篇文章的模块cut_pages来实现搜索内容的分页，实际上于上一篇文章实现的功能较为类似。 class SearchHandler(tornado.web.RequestHandler): def get(self, page_index): try: ...
2019-12-11 15:22:49
157
原创 【tornado建站】实现博客分页及页面展示
【tornado建站】实现博客分页及页面展示首先需要实现的是博客分页展示，每一页十篇博文，然后点击每一篇的标题就进入到该博文，这里十篇博文也写入到config.py文件中去。class WebConfig: items_page = 10然后写前端的代码：{% for index,entry in enumerate(entrys) %} <h2><a hr...
2019-07-24 17:34:05
431
原创 【tornado建站】tornado框架搭建
【tornado建站】tornado框架搭建首先需要先思考你的网站需要建成什么样子。比如我打算开一个博客，然后提供一些绘图的小工具，还有放一些个人介绍等，就暂时定义了以下几个类：import tornado.ioloopimport tornado.webfrom tornado.options import define, optionsclass Application(tor...
2019-07-23 16:39:44
844
原创 【tornado建站】前端与后端基础模块准备
【tornado建站】前端与后端基础模块准备先测试tornado是否可用，首先随手写一个index.html<p>这是测试</p>然后tornado的测试代码website.py如下：import tornado.ioloopimport tornado.webfrom tornado.options import define, optionsclass...
2019-07-19 15:17:59
405
原创 【tornado建站】mysql存储与读取数据
搭建网站，首先需要准备好数据库，我们这里用的是mysql，通过python来查询及插入等操作，我们需要写一个专用于mysql数据库操作的脚本。操作数据库主要需要有以下几个功能：import pymysqlclass CreateDB： # 创建数据库 passclass CreateTable： # 创建表 passclass InsertTable： # 插入表 pass...
2019-07-19 15:08:50
336
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人