项目实训-智能生物序列分析平台-后端模块（8）

煮酒cos

于 2022-06-07 21:57:42 发布

阅读量222

点赞数

分类专栏：项目实训文章标签：深度学习人工智能

本文链接：https://blog.csdn.net/qq_49215659/article/details/125174248

版权

模型代码

考虑到平台的扩展性和丰富性，我们添加了更多传统的机器学习分类模型+transformer的一些变种+图网络GNN的一些前沿扩展。

这篇博客主要围绕transformer的一些变种来进行解读。

NLP	traditional	GNN
TransformerEncoder	DNN	TextGNN
ReformerEncoder	RNN	GCN
PerformerEncoder	LSTM	GAN
LinformerEncoder	BiLSTM
RoutingTransformerEncoder	LSTMAttention
DNA bert	GRU
Prot bert	TextCNN
	TextRCNN
	VDCNN
	RNN_CNN

Reformer

这篇论文来自ICLR 2020的一项工作 https://openreview.net/pdf?id=rkgNKkHtvB,针对长序列的Transformer训练问题，Reformer给出了一种存储极致压缩的方案.

Reformer主要涉及了四处创新点：

使用Axial Positional Embedding来减小位置编码矩阵
提出了基于局部敏感性哈希算法(Locality Sensitive Hashing, LSH)的self-attention机制
提出可以使用分段的方式来处理全连接层(FFN)的计算过程，每次只计算一部分，从而不需要将整个序列加载到内存
使用可逆(Reversible)残差连接来代替传统残差连接，好处是在前向过程中前 [公式] 层的中间值和输出都不需要存储了，只保留最后一层的输出

这里我们直接采用了Reformer-pytorch提供的库来进行实现

安装

$ pip install reformer_pytorch

示例

一个简单的模型架构搭建方式

import torch
from reformer_pytorch import ReformerLM

model = ReformerLM(
    num_tokens= 20000,
    dim = 1024,
    depth = 12,
    max_seq_len = 8192,
    heads = 8,
    lsh_dropout = 0.1,
    ff_dropout = 0.1,
    post_attn_dropout = 0.1,
    layer_dropout = 0.1