Kettle:webservice接口数据转存到数据库

(1)定义webservice的接口,添加URL和操作的方法即可 (2)声明webservice接口的参数,PAT_NO是上游传递过来的参数名对应WS中的参数req,输出可直接选择默认的。 (3)解析xml。经过web服务器查询后,会获得多条xml字符串语句,这里使用组件“get data f...

2019-03-13 10:06:54

阅读数 460

评论数 0

Kettle:查询结果传递以&相关子查询

场景需求: 源数据库表A和B,目标数据库表C,需要根据表A符合条件的ID去查询表B的记录,最后把结果放入到表C(表C和表B的字段完全一致) Kettle的需求:根据前一个表的查询结果去查询另一个表 (1)从A表中筛选出符合条件的id (2)获取上个A表的结果集合,让B表进行查询,这里主要几点: ...

2019-03-12 11:12:10

阅读数 263

评论数 0

pytorch笔记:09)Attention机制

原博客是哈佛大学NLP研究组,根据论文“Attention is All You Need” 使用pytorch实现,撰写得非常精彩,强烈推荐。下面是几个笔者阅读时困惑的地方,记录下来以防忘记。 原文中给的一个简单的栗子,给定一个序列,模拟生成同一的序列。 We can begin by ...

2019-01-11 14:40:22

阅读数 3083

评论数 0

使用cuda编译maskrcnn detectron等问题小结

struct std::is_convertible’ struct is_convertible error: command '/usr/local/cuda/bin/nvcc' failed with exit status 1 The lat...

2018-12-26 15:51:20

阅读数 176

评论数 0

在线使用Python通过染色体id+位置查询基因名列表

前话:使用pyensembl可对hg38进行本地查询,但发现若查询其他的数据库比如hg19,得重新下载对应的数据文件。 查看文献发现,UCSC提供了一个丰富的mysql数据库供我们在线查询各种生物的信息(其中就包括hg19和hg38). UCSC提供的mysql连接字符串(需安装mysql客服...

2018-12-09 10:06:49

阅读数 643

评论数 0

本地使用Python通过染色体id+位置查询基因名列表

简介 通常使用bwa做mapping后会获得sam文件,而sam文件包含2个重要的字段:该序列mapping上的染色体id和位置(比如第2列(chr5)和第3列(36345037)) KMER_44 0 chr5 36345037 37 7M1D24M...

2018-10-18 16:00:11

阅读数 1413

评论数 0

pytorch笔记:08)使用LSTM写古诗词

测试环境: centos7 + python3.6 + pytorch0.4 +cuda9 下面是用模型生成的藏头诗(深度学习) 深宫昔时见,古貌多自有。 度日不相容,年年生一目。 学者若为霖,百姓贻忧厄。 习坎与天聪,优游宁敢屡。 训练数据 57580首诗歌,每首诗歌,书(pyto...

2018-07-11 16:39:04

阅读数 1663

评论数 2

pytorch笔记:07)LSTM

LSTM的介绍博文:https://colah.github.io/posts/2015-08-Understanding-LSTMs/ 官方AIP:https://pytorch.org/docs/stable/nn.html?#torch.nn.LSTM 一个栗子,假如我们输入有3个句子,...

2018-06-22 14:44:06

阅读数 2906

评论数 1

pytorch笔记:06)requires_grad和volatile

requires_grad Variable变量的requires_grad的属性默认为False,若一个节点requires_grad被设置为True,那么所有依赖它的节点的requires_grad都为True。 x=Variable(torch.ones(1)) w=Variable...

2018-06-12 16:27:47

阅读数 4492

评论数 4

mask_rcnn keras源码跟读3)配置文件

config.py文件,参数配置一个一个地看 # NUMBER OF GPUs to use. For CPU training, use 1 GPU_COUNT = 1 # Number of images to train with on each GPU. A 12GB GPU can...

2018-06-05 19:25:26

阅读数 1485

评论数 6

mask_rcnn keras源码跟读2)数据部分

数据生成部分主要用了keras_model.fit_generator借口,具体函数在model.py的1626函数,其函数说明如下: def data_generator(dataset, config, shuffle=True, augment=False, augmentation=No...

2018-05-30 17:02:10

阅读数 2482

评论数 3

mask_rcnn keras源码跟读1)模型搭建

基础知识:faster_rcnn相关内容,mask_rcnn相关内容 源码git:https://github.com/matterport/Mask_RCNN/tree/v2.1 1.模型搭建 主要在类MaskRCNN的build方法内 1 model.py_row1673,获取所有的...

2018-05-24 11:24:17

阅读数 3876

评论数 14

pytorch笔记:05)UNet网络简单实现

语义分割的相关介绍可参考该博客: https://blog.csdn.net/u012931582/article/details/70314859 代码参考图1设计,黑色加粗的标注是笔者添加的,和代码中的变量对应 图1 Unet U-Net代码,实现比较简单...

2018-05-08 08:38:28

阅读数 6211

评论数 33

BWA0.7+Samtools1.5+GATK4.0在大数据集上的试验

试验数据 fasta:hg38.fa文件可以在UCSC下载 (hg38.fa.gz 938M) fastq非公开文件 KY18011403DNA_DHG18153-V_AHHVVHCCXY_L7_1.fq 35G KY18011403DNA_DHG18153-...

2018-03-21 08:42:45

阅读数 1026

评论数 0

pytorch笔记:04)resnet网络&解决输入图像大小问题

因为torchvision对resnet18-resnet152进行了封装实现,因而想跟踪下源码(^▽^) 首先看张核心的resnet层次结构图(图1),它诠释了resnet18-152是如何搭建的,其中resnet18和resnet34结构类似,而resnet50-resnet152结构类...

2018-03-20 08:10:07

阅读数 20456

评论数 7

pytorch笔记:03)softmax和log_softmax,以及CrossEntropyLoss

softmax在神经网络里面比较常见,简而言之,就是多分类的概率输出 sotfmax(xi)=exp(xi)∑jexp(xj)sotfmax(xi)=exp⁡(xi)∑jexp⁡(xj)sotfmax(x_i)=\frac{\exp(x_i)}{\sum_j \exp(x_j)} 但是在pyt...

2018-03-19 10:03:18

阅读数 9346

评论数 5

pytorch笔记02)模型的保存和加载

保存和加载整个模型 torch.save(model_object, 'model.pkl') model = torch.load('model.pkl') 仅保存和加载模型参数(推荐使用,需要提前手动构建模型) torch.save(model_object.state_dict(), ...

2018-03-16 16:51:09

阅读数 4128

评论数 4

pytorch笔记01)初体验

import torch from torch.autograd import Variable import torch.nn.functional as func import matplotlib.pyplot as plt x = torch.unsqueeze(torch.linspa...

2018-03-16 10:21:20

阅读数 230

评论数 0

BWA0.7+Samtools1.5+GATK4.0在小数据集上的试验

试验数据 chr14_1.fastq chr14_2.fastq (1.47G each one .gz) chr14.fasta (28M .gz) chr14.fastq文件可以在GAGE下载 chr14.fasta文件可以在UCSC下载 软件的版本: bwa-0....

2018-03-13 15:03:30

阅读数 1258

评论数 2

keras:5)fit_generator

1.fit_generator fit_generator函数参数描述可以参看官方文档,这里说下比较常用的几个参数: generator: A generator or an instance of Sequence (keras.utils.Sequence) object in order...

2018-03-11 13:38:03

阅读数 5320

评论数 2

提示
确定要删除当前文章?
取消 删除