山东大学2019级软件工程应用与实践——基于人工智能的多肽药物分析问题（十一）

最新推荐文章于 2023-03-06 16:16:32 发布

Haws001

最新推荐文章于 2023-03-06 16:16:32 发布

阅读量887

点赞数

分类专栏：山东大学2019级软件工程应用与实践文章标签：人工智能

本文链接：https://blog.csdn.net/ChloeS0/article/details/121781271

版权

山东大学2019级软件工程应用与实践专栏收录该内容

13 篇文章 4 订阅

订阅专栏

2021SC@SDUSC

基于人工智能的多肽药物分析问题

主题：蛋白质预训练模型（5）

代码分析

在这里插入图片描述 Visualization Section
ProtTrans/Visualization/ProtAlbert_attention_head_view.ipynb

加载必要的库，包括 huggingface 和 bertvis transformer

import torch
from transformers import AlbertTokenizer, AlbertModel
from bertviz.bertviz import head_view
import re

def call_html():
  import IPython
  display(IPython.core.display.HTML('''
        <script src="/static/components/requirejs/require.js"></script>
        <script>
          requirejs.config({
            paths: {
              base: '/static/base',
              "d3": "https://cdnjs.cloudflare.com/ajax/libs/d3/3.5.8/d3.min",
              jquery: '//ajax.googleapis.com/ajax/libs/jquery/2.0.0/jquery.min',
            },
          });
        </script>
        '''))

加载 vocabulary 和 ProtAlbert 模型

model = AlbertModel.from_pretrained("Rostlab/prot_albert", output_attentions=True)
tokenizer = AlbertTokenizer.from_pretrained("Rostlab/prot_albert", do_lower_case=False)

若GPU可用则将模型载入GPU

device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu')

model = model.to(device)
model = model.eval()

为 attention head 创建可视化方法

def show_head_view(model, tokenizer, sequence):
    inputs = tokenizer.encode_plus(sequence, return_tensors='pt', add_special_tokens=True)
    input_ids = inputs['input_ids']
    attention = model(input_ids.to(device))[-1]
    input_id_list = input_ids[0].tolist() # Batch index 0
    tokens = tokenizer.convert_ids_to_tokens(input_id_list)    
    head_view(attention, tokens)

创建或者加载序列，将很少出现的氨基酸 (U,Z,O,B) 映射到 (X)

sequence = "N L Y I Q W L K D G G P S S G R P P P S"
sequence = re.sub(r"[UZOB]", "X", sequence)

调用可视化方法，创建 attention 可视化

call_html()
show_head_view(model, tokenizer, sequence)

论文学习

注意力机制模型
在这里插入图片描述
从本质上理解，Attention是从大量信息中有筛选出少量重要信息，并聚焦到这些重要信息上，忽略大多不重要的信息。权重越大越聚焦于其对应的Value值上，即权重代表了信息的重要性，而Value是其对应的信息。

至于Attention机制的具体计算过程，如果对目前大多数方法进行抽象的话，可以将其归纳为两个过程：第一个过程是根据Query和Key计算权重系数
，第二个过程根据权重系数对Value进行加权求和。而第一个过程又可以细分为两个阶段：第一个阶段根据Query和Key计算两者的相似性或者相关性；第二个阶段对第一阶段的原始分值进行归一化处理；这样，可以将Attention的计算过程抽象为如图展示的三个阶段。
在这里插入图片描述在第一个阶段，可以引入不同的函数和计算机制，根据Query和某个 Key，计算两者的相似性或者相关性，最常见的方法包括：求两者的向量点积、求两者的向量Cosine相似性或者通过再引入额外的神经网络来求值。