BERT encoder-attention计算逻辑

最新推荐文章于 2024-08-22 11:31:22 发布

bo.qiu_xbw

最新推荐文章于 2024-08-22 11:31:22 发布

阅读量622

点赞数

分类专栏： c++ Bert Tensorflow-OP 文章标签： bert 深度学习

本文链接：https://blog.csdn.net/qq_42738654/article/details/120545430

版权

c++ 同时被 3 个专栏收录

8 篇文章 0 订阅

订阅专栏

Tensorflow-OP

6 篇文章 1 订阅

订阅专栏

Bert

4 篇文章 0 订阅

订阅专栏

encoder中最重要的莫过于attention的计算了，本章对照代码讲解一下计算逻辑，主要是python改成c++时候要注意一些shape，并且减少tanspose的使用，使用Intel mkl中的矩阵计算API，例如cblas，cblas_batch等等。

1.qkv合并------>Dense(input * qkv_weight + qkv_bias)------->split分开
分开后q=k=v shape为

（batch_size, seq_len, number_of_head, int(embedding_size / number_of_head)）

2.此时的q,k,v并不能直接matmul，需要经过transpose，此时shape变成了

(batch_size, number_of_head, seq_len, feature_size)

3.对（2）产生的q与transpose(k)进行matmul，除以sqrt(embedding_size / number_of_head),生成中间变量的shape为

(batch_size, number_of_head, seq_len, seq_len)

4.对（3）的中间变量进行apply_mask,增加偏移量-10000，随后进行softmax。

5.(4)生成的值与value进行matmul,shape为

(batch_size, number_of_head, seq_len, feature_size)

完成attention操作

——————————————————————————————————————————
此部分为encoder中attention后续的计算
6.（5）中的output---->Dense---->layerNorm---->Dense---->gelu---->>Dense---->layerNorm

其中gelu使用erf高斯近似，可能会有一些误差。

def gelu(input_tensor):
	cdf = 0.5 * (1.0 + tf.erf(input_tensor / tf.sqrt(2.0)))
	return input_tesnsor*cdf

layerNorm原理就是，也就是hidden_size维做Normalization。

class LayerNorm(nn.Module):
    "Construct a layernorm module (See citation for details)."
    def __init__(self, features, eps=1e-6):
        super(LayerNorm, self).__init__()
        self.a_2 = nn.Parameter(torch.ones(features))
        self.b_2 = nn.Parameter(torch.zeros(features))
        self.eps = eps

    def forward(self, x):
        # mean(-1) 表示 mean(len(x)), 这里的-1就是最后一个维度，也就是hidden_size维
        mean = x.mean(-1, keepdim=True)
        std = x.std(-1, keepdim=True)
        return self.a_2 * (x - mean) / (std + self.eps) + self.b_2