大模型面试知识点整理（一）

本帖是为了整理大模型/transformer面试常见的问题，以及自己面试会遇到的问题。

知识点来源1：

大模型八股答案（一）——基础知识 - suc16的文章 - 知乎

https://zhuanlan.zhihu.com/p/643829565

内容：

attention 手写公式:

Q = xWq, K  = xWk, V = xWv

attention(Q,K,V) = softmax(QK^T/sqrt(d_k))V

transformer里的是多头注意力，会多一个输出权重矩阵，所以一共有4个矩阵（把各个头的attention结果concat后过一层linear）

如下图，有一个linear的网络

hidden size: 一般也是embedding的维度，以及每一个头的隐藏维度。一般从4096到8192。

手写一个scaled dot product attention:

def scaled_dot_product_attention(self, q,k,v):

        n, q_len, h_dim = q.shape

        attention = torch.bmm(q, k.transpose(-2, -1))/math.sqrt(h_dim)

        attention = attention.softmax(dim=-1)

        output = torch.bmm(attention, v)

        return output, attention

       

对于GQA：多了一个组内重复的动作。

q = self.q_proj(query).reshape(bs, q_len, self.num_heads, self.head_dim).transpose(1,2).reshape(-1, q_len, self.head_dim)

k=self.k_proj(key).repeat_interleave(self.num_key_value_groups, dim=0).reshape(***).transpose(1,2).reshape(***)

v=****

output, attention=self.scaled_dot_product_attention(q,k,v)

...

class llama_attention:

def __init__:

self.q_proj = nn.linear(self.hidden_size, self.num_heads * self.head_dim )

self.k_proj=...
self.v_proj=...

self.o_proj=nn.linear(self.num_heads * self.head_dim, self.hidden_size)

def forward(past_key_value = None):

if past_key_value is not None:

#上一轮的k和v可以复用

#每次decode，都是把问题+上一轮的回答作为输入去预测下一个token，直到遇到终止符。（问：这里的question prompt也输入在里面吗）

key_state = torch.cat([past_key_value[0], key_state], dim = 2)

value_state = torch.cat([past_key_value[1], value_state], dim = 2)

attention_weights = torch.matmul(q, k.transpose(2,3))/math.sqrt(head_dim)

#在这里加上attention mask

if attention_mask is not None: 

attn_weights = attn_weights + attention_mask

#dtype_min = torch.tensor( torch.finfo(attn_weights.dtype).min, device=attn_weights.device, dtype=attn_weights.dtype )

#attn_weights = torch.max(attn_weights, dtype_min)

# 计算softmax，这里需要从fp16升为fp32 # upcast attention to fp32

attn_weights = nn.functional.softmax(attn_weights, dim=-1, dtype=torch.float32).to(query_states.dtype)

attn_output = torch.matmul(attn_weights, value_states)

attn_output = attn_output.transpose(1, 2)

attn_output = attn_output.reshape(bsz, q_len, self.hidden_size)

attn_output = self.o_proj(attn_output)

if not output_attentions:

        attn_weights = None

past_key_value = (key_state, value_state)

return attn_output, attn_weights, past_key_value

位置编码：

正弦余弦编码：PE(pos，2k) = sin(pos/10000^2k/d_model)

pos 【0，max_len-1】

k:[0, d_model-1]

llama里用的是旋转位置编码RoPE。向量的内积就会引入位置信息。

BBPE可以通过组合字节对的方法表示词表范围以外的中文字符，如llama。那是否可以所有模型通用一个分词器

呢？答案是不可以，因为在中文语料上训练，一个token可以表示两个以上汉字，而上面的方法一个汉字可能需要3个token表示，影响表示效率。

这里错了，bpe和bbpe的区别在于，bbpe是深入到字节层面表示的，因此可以在跨语言表示时不需要专门扩充词表。但是如果遇到非ascii文字较多的情况，表示的token数量还是会过多，从而导致序列过长，推理速度较慢。