Transformer中的余弦相似度解释

1. 引言

Transformer首先将每一个 $query$ 和 $key$ 做内积，结果作为相似度，那么为什么做内积可以得到相似度呢？

2. 内积的定义

存在两个向量 $a=[a_1,a_2,...,a_n]$ , $b=[b_1,b_2,...,b_n]$，则 $a,b$ 的内积为：

$$a\cdot b=a_1{b}_1+a_2{b}_2+...+a_n{b}_n$$

3. 余弦相似度

除了上面的计算外， $a,b$ 的内积还可以写成：

$$a\cdot b=|a||b|cos(a,b)$$

自然而然我们可以推出 $cos(a,b)$ 的计算公式：

$$cos(a,b)=\frac{a\cdot b}{|a||b|}$$

从上面的公式我们可以看出：

1. 余弦相似性其实就是向量内积的归一化。
2. 余弦相似度和内积呈正相关

4. 不同的情况下

但是光看余弦相似度这个指标是不太行的，因为它是归一化后的结果，只根据两个向量角度来进行相似度计算，没有考虑向量的长度。

举个例子：

比如两个向量 $A=(1,1,0),B=(0,1,1)$， $AB$ 余弦相似度为 $\frac{1}{(\sqrt{2}\ast \sqrt{2})}=\frac{1}{2}$。余弦相似度不考虑向量长度， $(1,1,0)$ 和 $(0,3,3)$ 的相似度 = $AB$ 的相似度

但是，如果向量的长度对相似性有真实影响，那么$A(1,1),B(4,4),C(5,5)$ 三个向量，相似度分别为：

$$cos(A,B)=\frac{1\times 4+1\times 4}{\sqrt{1^2+1^2}\times \sqrt{4^2+4^2}}=\frac{8}{\sqrt{64}}=1$$

$$cos(B,C)=\frac{4\times 5+4\times 5}{\sqrt{4^2+4^2}\times \sqrt{5^2+5^2}}=\frac{40}{\sqrt{32}\times \sqrt{50}}=1$$

可以看到，二者的余弦相似度是相同的，但 $BC$ 内积( 40 ) 大于 $AB$ 内积( 8 )，故 $BC$ 更相似。

---

参考
核函数 <-- 内积 <-- 余弦相似