informer之Proof of Proposition 1(命题1的证明)

一、新的符号和定义

1. 符号引入：

   • 我们定义$a_{i,j}=\frac{q_i{k}_j^T}{\sqrt{d}}$，这里$q_i$是查询向量，$k_j$是键向量，$d$是维度。
   • 将$a_{i,j}$组成一个数组$A_i=[a_{i,1},\cdots ,a_{i,L_K}]$，其中$L_K$是键向量的数量。

2. 均值定义：

   • 定义$\frac{1}{L_K}{\sum }_{j=1}^{L_K}\left(\frac{q_i{k}_j^T}{\sqrt{d}}\right)$为$\text{mean}(A_i)$，即$A_i$数组的均值。

3. 新的最大值定义：

   • 定义$\overline{M}(q_i,K)=\max (A_i)-\text{mean}(A_i)$，即数组$A_i$中的最大值减去其均值。这定义了一个新的度量，用于比较不同查询向量的结果。

举例说明1：

假设我们有以下查询向量$q_i$和三个键向量$k_1,k_2,k_3$，并且它们的维度$d=2$：

• 查询向量$q_i=[1,2]$
• 键向量$k_1=[2,1]$，$k_2=[0,1]$，$k_3=[1,1]$

我们计算$a_{i,j}=\frac{q_i{k}_j^T}{\sqrt{d}}$：

-$a_{i,1}=\frac{[1,2]\cdot [2,1{]}^T}{\sqrt{2}}=\frac{1\cdot 2+2\cdot 1}{\sqrt{2}}=\frac{4}{\sqrt{2}}=2\sqrt{2}$
-$a_{i,2}=\frac{[1,2]\cdot [0,1{]}^T}{\sqrt{2}}=\frac{1\cdot 0+2\cdot 1}{\sqrt{2}}=\frac{2}{\sqrt{2}}=\sqrt{2}$
-$a_{i,3}=\frac{[1,2]\cdot [1,1{]}^T}{\sqrt{2}}=\frac{1\cdot 1+2\cdot 1}{\sqrt{2}}=\frac{3}{\sqrt{2}}=\frac{3\sqrt{2}}{2}$

得到数组$A_i$：

$A_i=[2\sqrt{2},\sqrt{2},\frac{3\sqrt{2}}{2}]$

计算均值$\text{mean}(A_i)$：

$\text{mean}(A_i)=\frac{1}{3}\left(2\sqrt{2}+\sqrt{2}+\frac{3\sqrt{2}}{2}\right)=\frac{1}{3}\left(\frac{7\sqrt{2}}{2}\right)=\frac{7\sqrt{2}}{6}$

计算新的最大值度量$\overline{M}(q_i,K)$：

$\max (A_i)=2\sqrt{2}$
$\overline{M}(q_i,K)=\max (A_i)-\text{mean}(A_i)=2\sqrt{2}-\frac{7\sqrt{2}}{6}=\frac{5\sqrt{2}}{6}$

通过这个例子，我们看到了如何通过定义和计算$a_{i,j}$以及新的度量$\overline{M}(q_i,K)$，来简化和比较不同查询向量的最大值特性。这有助于我们在证明中进一步分析和推导概率结论。

这段话提供了$M(q_i,K)$的一个推导过程，利用了对每个组件的分解和对数性质。下面是详细的解释：

二、符号定义和分解

我们首先定义$M(q_i,K)$的每个组件$a_{i,j}$为：

$a_{i,j}=\text{mean}(A_i)+\Delta a_{i,j}$

其中，$\text{mean}(A_i)$是$A_i$的均值，$\Delta a_{i,j}$是偏差项。具体的偏差项$\Delta a_{i,j}$表示每个$a_{i,j}$与均值$\text{mean}(A_i)$的差异。这里$j=1,\dots ,L_K$。

$M(q_i,K)$的推导

1. 定义和重写$M(q_i,K)$：

$M(q_i,K)=\ln \left({\sum }_{j=1}^{L_K}{e}^{q_i{k}_j^T/\sqrt{d}}\right)-\frac{1}{L_K}{\sum }_{j=1}^{L_K}\left(\frac{q_i{k}_j^T}{\sqrt{d}}\right)$

2. 利用$a_{i,j}=\text{mean}(A_i)+\Delta a_{i,j}$：

将$a_{i,j}$带入公式中：

$M(q_i,K)=\ln \left({\sum }_{j=1}^{L_K}{e}^{a_{i,j}}\right)-\text{mean}(A_i)$

因为$a_{i,j}=\text{mean}(A_i)+\Delta a_{i,j}$，所以：

$M(q_i,K)=\ln \left({\sum }_{j=1}^{L_K}{e}^{\text{mean}(A_i)+\Delta a_{i,j}}\right)-\text{mean}(A_i)$

3. 利用指数和对数的性质：

$M(q_i,K)=\ln \left(e^{\text{mean}(A_i)}{\sum }_{j=1}^{L_K}{e}^{\Delta a_{i,j}}\right)-\text{mean}(A_i)$

利用对数的性质$\ln (ab)=\ln (a)+\ln (b)$：

$M(q_i,K)=\ln \left(e^{\text{mean}(A_i)}\right)+\ln \left({\sum }_{j=1}^{L_K}{e}^{\Delta a_{i,j}}\right)-\text{mean}(A_i)$

因为$\ln \left(e^{\text{mean}(A_i)}\right)=\text{mean}(A_i)$，所以：

$M(q_i,K)=\text{mean}(A_i)+\ln \left({\sum }_{j=1}^{L_K}{e}^{\Delta a_{i,j}}\right)-\text{mean}(A_i)$

简化后：

$M(q_i,K)=\ln \left({\sum }_{j=1}^{L_K}{e}^{\Delta a_{i,j}}\right)$

偏差项和求和

最后，我们提到：

${\sum }_{j=1}^{L_K}\Delta a_{i,j}=0$

这意味着偏差项的总和为零。这个条件确保了$\Delta a_{i,j}$是对$a_{i,j}$的均值的偏差。

总结

通过上述步骤，我们成功地将$M(q_i,K)$表达为一个关于偏差项的对数和的公式。这一推导过程表明了如何利用均值和偏差项来简化原始的计算公式，并且通过对数性质得到了一个简洁的表达式。这在进一步的分析和优化中是非常有用的。

举例说明2

假设我们有$L_K=3$个键向量$k_1,k_2,k_3$，并且计算得到$A_i=[a_{i,1},a_{i,2},a_{i,3}]=[1.2,0.8,1.0]$。

1. 计算均值：

$\text{mean}(A_i)=\frac{1.2+0.8+1.0}{3}=1.0$

2. 计算偏差项：

$\Delta a_{i,1}=1.2-1.0=0.2$
$\Delta a_{i,2}=0.8-1.0=-0.2$
$\Delta a_{i,3}=1.0-1.0=0$

3. 验证偏差项和为零：

$\Delta a_{i,1}+\Delta a_{i,2}+\Delta a_{i,3}=0.2+(-0.2)+0=0$

4. 计算$M(q_i,K)$：

$M(q_i,K)=\ln \left(e^{0.2}+e^{-0.2}+e^0\right)=\ln \left(e^{0.2}+e^{-0.2}+1\right)$

使用具体数值计算：

$e^{0.2}\approx 1.221$
$e^{-0.2}\approx 0.818$

所以：

$M(q_i,K)=\ln (1.221+0.818+1)=\ln (3.039)\approx 1.11$

通过这个例子，我们展示了如何从$A_i$计算得到$M(q_i,K)$的过程。
这段话重新定义并总结了前述命题，使用新的符号和等价形式来表达结论。下面是详细的解释：

三、新函数定义

我们定义函数$ES(A_i)={\sum }_{j=1}^{L_K}\exp (\Delta a_{i,j})$，这相当于定义$A_i=[\Delta a_{i,1},\cdots ,\Delta a_{i,L_K}]$。这样，我们可以立即将命题改写为一个等价形式：

等价形式的命题

对于任意的$A_1$和$A_2$，如果满足以下两个条件：

1.$\max (A_1)-\text{mean}(A_1)\ge \max (A_2)-\text{mean}(A_2)$
2.$\text{Var}(A_1)>\text{Var}(A_2)$

那么，我们可以将原始结论重新表述为一个更通用的形式，即：

$ES(A_1)>ES(A_2)$

并且这个概率与$\text{Var}(A_1)-\text{Var}(A_2)$有正相关关系。

详细解释和举例说明

1. 函数$ES(A_i)$的定义

函数$ES(A_i)={\sum }_{j=1}^{L_K}\exp (\Delta a_{i,j})$计算的是$\Delta a_{i,j}$的指数和。这提供了一个度量，用来比较不同$A_i$的大小。

2. 新的命题条件

• 条件1：$\max (A_1)-\text{mean}(A_1)\ge \max (A_2)-\text{mean}(A_2)$
  这个条件意味着$A_1$的最大值减去均值的结果大于或等于$A_2$的同样计算结果。

• 条件2：$\text{Var}(A_1)>\text{Var}(A_2)$
  这个条件意味着$A_1$的方差大于$A_2$的方差。

3. 结论

根据这些条件，我们可以得出：

$ES(A_1)>ES(A_2)$

并且，随着$\text{Var}(A_1)-\text{Var}(A_2)$的增加，这个结论的概率也会增加。

举例说明3

假设我们有两个数组$A_1$和$A_2$：

-$A_1=[\Delta a_{1,1},\Delta a_{1,2},\Delta a_{1,3}]=[0.3,-0.2,-0.1]$
-$A_2=[\Delta a_{2,1},\Delta a_{2,2},\Delta a_{2,3}]=[0.2,-0.1,-0.1]$

计算它们的最大值减去均值：

-$\max (A_1)-\text{mean}(A_1)=0.3-\frac{0.3-0.2-0.1}{3}=0.3-0=0.3$
-$\max (A_2)-\text{mean}(A_2)=0.2-\frac{0.2-0.1-0.1}{3}=0.2-0=0.2$

所以条件1满足。

计算它们的方差：

-$\text{Var}(A_1)=\frac{(0.3-0{)}^2+(-0.2-0{)}^2+(-0.1-0{)}^2}{3}=\frac{0.09+0.04+0.01}{3}=0.0467$
-$\text{Var}(A_2)=\frac{(0.2-0{)}^2+(-0.1-0{)}^2+(-0.1-0{)}^2}{3}=\frac{0.04+0.01+0.01}{3}=0.02$

所以条件2也满足。

计算$ES(A_i)$：

-$ES(A_1)=\exp (0.3)+\exp (-0.2)+\exp (-0.1)=1.3499+0.8187+0.9048=3.0734$
-$ES(A_2)=\exp (0.2)+\exp (-0.1)+\exp (-0.1)=1.2214+0.9048+0.9048=3.0310$

结果显示$ES(A_1)>ES(A_2)$，且$\text{Var}(A_1)>\text{Var}(A_2)$，符合命题的结论。

通过这个例子，我们可以看到，在满足条件的情况下，$A_1$的指数和$ES(A_1)$大于$A_2$的指数和$ES(A_2)$，并且这个结果的概率随着$\text{Var}(A_1)-\text{Var}(A_2)$的增加而增加。这段话进一步讨论了一种细化的情况，重新强调了前述结论在特定条件下的适用性，并提出了等价形式。下面是详细解释：

四、前提条件和细化情况

我们考虑一种细化的情况，对于任意的$M_m={\max }_{i}M(q_i,K)$，存在一个$\kappa >0$使得在区间 { q ∣ M ( q , K ) ∈ [ M m , M m − κ ) } \{ q \mid M(q, K) \in [M_m, M_m - \kappa) \} {q∣M(q,K)∈[Mm​,Mm​−κ)}内，满足以下条件的$q_i$和$q_j$：

1.$\max (A_1)-\text{mean}(A_1)\ge \max (A_2)-\text{mean}(A_2)$
2.$\text{Var}(A_1)>\text{Var}(A_2)$

高概率结论

在满足上述条件的情况下，我们有很高的概率$M(q_1,K)>M(q_2,K)$，这等价于$ES(A_1)>ES(A_2)$。

详细解释

1. 前提条件$M_m$：
   -$M_m={\max }_{i}M(q_i,K)$表示所有查询向量$q_i$与键向量$K$计算出的最大值。

   • 存在一个$\kappa >0$，使得我们只考虑$M(q,K)$落在区间$[M_m,M_m-\kappa )$内的$q$。

2. 区间内的比较：

   • 对于在这个区间内的任意$q_i$和$q_j$，如果$\max (A_1)-\text{mean}(A_1)\ge \max (A_2)-\text{mean}(A_2)$并且$\text{Var}(A_1)>\text{Var}(A_2)$，我们有很高的概率$M(q_1,K)>M(q_2,K)$。

3. 等价结论：

   • 由于前述证明$M(q,K)$与$ES(A)$的关系，这个结论等价于$ES(A_1)>ES(A_2)$。

举例说明4

假设我们有两个查询向量$q_1$和$q_2$，它们对应的数组$A_1$和$A_2$分别是：

-$A_1=[0.3,-0.2,-0.1]$
-$A_2=[0.2,-0.1,-0.1]$

计算$\max (A)-\text{mean}(A)$和方差：

• 对$A_1$：
  -$\max (A_1)=0.3$
  -$\text{mean}(A_1)=\frac{0.3-0.2-0.1}{3}=0$
  -$\max (A_1)-\text{mean}(A_1)=0.3-0=0.3$
  -$\text{Var}(A_1)=\frac{(0.3-0{)}^2+(-0.2-0{)}^2+(-0.1-0{)}^2}{3}=0.0467$

• 对$A_2$：
  -$\max (A_2)=0.2$
  -$\text{mean}(A_2)=\frac{0.2-0.1-0.1}{3}=0$
  -$\max (A_2)-\text{mean}(A_2)=0.2-0=0.2$
  -$\text{Var}(A_2)=0.02$

比较条件：

-$\max (A_1)-\text{mean}(A_1)\ge \max (A_2)-\text{mean}(A_2)$：0.3 ≥ 0.2，满足。
-$\text{Var}(A_1)>\text{Var}(A_2)$：0.0467 > 0.02，满足。

计算$ES(A)$：

-$ES(A_1)=\exp (0.3)+\exp (-0.2)+\exp (-0.1)=3.0734$
-$ES(A_2)=\exp (0.2)+\exp (-0.1)+\exp (-0.1)=3.0310$

结果：

在这个特定区间内满足条件时，$M(q_1,K)>M(q_2,K)$的概率很高，等价于$ES(A_1)>ES(A_2)$。

总结来说，这段话进一步细化和验证了在特定区间和条件下，某些查询向量的概率结论，并将其等

五、背景和假设

解释了原命题中$k_j\sim N(\mu ,\Sigma )$服从多变量高斯分布的背景，并进一步细化了相关的统计性质，从而将问题等价为一个对数正态分布求和问题。以下是详细的解释：

1. 多变量高斯分布：
   -$k_j\sim N(\mu ,\Sigma )$表示键向量$k_j$服从均值为$\mu$、协方差矩阵为$\Sigma$的多变量高斯分布。

2. 独立同分布：
   -$k_1,\dots ,k_n$是独立同分布（I.I.D.）的高斯分布向量。这意味着每个$k_j$都是独立抽样的。

3. Wiener-Khinchin定律：

   • 根据Wiener-Khinchin大数定律，当$n\to \infty$时，$a_{i,j}=\frac{q_i{k}_j^T}{\sqrt{d}}$是一个一维高斯分布，期望为0。

偏差项的分布

回到我们的定义，偏差项$\Delta a_{i,m}$服从以下分布：

-$\Delta a_{1,m}\sim N(0,{\sigma }_1^2)$
-$\Delta a_{2,m}\sim N(0,{\sigma }_2^2)$

对于所有的$m\in 1,\dots ,L_K$，这些偏差项都是从均值为0、方差分别为${\sigma }_1^2$和${\sigma }_2^2$的正态分布中抽样的。

等价于对数正态分布求和问题

由于$ES(A_i)={\sum }_{j=1}^{L_K}\exp (\Delta a_{i,j})$，这就将问题转化为一个对数正态分布求和的问题。具体来说：

1. 对数正态分布：

   • 如果一个随机变量$X$服从正态分布$N(\mu ,{\sigma }^2)$，则$e^X$服从对数正态分布。

2. 我们的情况：

   • 因为$\Delta a_{i,j}$服从正态分布$N(0,{\sigma }_i^2)$，所以$e^{\Delta a_{i,j}}$服从对数正态分布。

3. 求和问题：

   • 我们的问题是求这些对数正态分布变量的和$ES(A_i)={\sum }_{j=1}^{L_K}{e}^{\Delta a_{i,j}}$。

结论

这个等价性帮助我们利用对数正态分布的性质来分析和解决原问题。在满足某些条件的情况下，我们可以推断$ES(A_1)>ES(A_2)$的概率，并且这个概率与$\text{Var}(A_1)-\text{Var}(A_2)$有正相关关系。

举例说明5

假设我们有两个查询向量$q_1$和$q_2$对应的键向量：

-$\Delta a_{1,m}\sim N(0,{\sigma }_1^2)$
-$\Delta a_{2,m}\sim N(0,{\sigma }_2^2)$

假设${\sigma }_1^2=0.5$，${\sigma }_2^2=0.3$，并且$L_K=3$。

我们可以模拟生成一些$\Delta a_{i,j}$：

• 对于$q_1$：$\Delta a_{1,1}\sim N(0,0.5)$,$\Delta a_{1,2}\sim N(0,0.5)$,$\Delta a_{1,3}\sim N(0,0.5)$
• 对于$q_2$：$\Delta a_{2,1}\sim N(0,0.3)$,$\Delta a_{2,2}\sim N(0,0.3)$,$\Delta a_{2,3}\sim N(0,0.3)$

计算$ES(A_i)$：

-$ES(A_1)={\sum }_{j=1}^3{e}^{\Delta a_{1,j}}$
-$ES(A_2)={\sum }_{j=1}^3{e}^{\Delta a_{2,j}}$

由于${\sigma }_1^2>{\sigma }_2^2$，根据我们的命题，$ES(A_1)>ES(A_2)$的概率很高。

通过这个例子和解释，我们看到了如何将原始问题转化为对数正态分布求和问题，并利用其性质来推导结论。这为进一步分析和应用提供了一个有力的工具。价地转化为新的度量形式，从而更广泛地应用于实际计算和优化中。

这段话讨论了如何通过近似方法来处理对数正态分布求和问题，并引用了相关的文献来支持其论点。以下是详细解释：

六、对数正态分布求和问题

背景介绍

1. 对数正态分布：如果一个随机变量$X$服从正态分布$N(\mu ,{\sigma }^2)$，那么$Y=e^X$服从对数正态分布。
2. 求和问题：我们关注的是多个对数正态分布变量的和，即$ES(A_i)={\sum }_{j=1}^{L_K}{e}^{\Delta a_{i,j}}$。

文献支持

1. Dufresne (2008) 和 Vargas-Guzman (2005)：这些文章介绍了对数正态分布求和问题的历史和背景。
2. Romeo, Da Costa, and Bardou (2003) 以及 Hcine and Bouallegue (2015)：指出在大多数情况下，对数正态分布变量的和仍然可以近似为对数正态分布。

近似对数正态分布的求和

尽管没有一般的概率密度函数（PDF）能准确描述对数正态分布求和，但通过以下方法，我们可以得到一个良好的近似：

1. 经验法则：求和的对数正态分布仍然近似为对数正态分布。
2. 中心极限定理：引用 Beaulieu (2011) 的工作，通过应用中心极限定理，可以得到对数正态分布求和的良好近似。

近似结果

根据上述方法，可以得到以下近似结果：

1. 期望$E(ES(A_1))$：
   $$E(ES(A_1))=n{e}^{{\sigma }_1^2/2}$$
   其中$n$是对数正态分布变量的数量（即$L_K$），${\sigma }_1^2$是正态分布偏差项的方差。

2. 方差$\text{Var}(ES(A_1))$：
   $$\text{Var}(ES(A_1))=n{e}^{{\sigma }_1^2}(e^{{\sigma }_1^2}-1)$$

3. 对于$ES(A_2)$：
   $$E(ES(A_2))=n{e}^{{\sigma }_2^2/2}$$
   $$\text{Var}(ES(A_2))=n{e}^{{\sigma }_2^2}(e^{{\sigma }_2^2}-1)$$

总结

通过这些近似，我们可以得出$ES(A_1)$和$ES(A_2)$的期望和方差。根据这些结果：

• 如果${\sigma }_1^2>{\sigma }_2^2$，则$E(ES(A_1))>E(ES(A_2))$并且$\text{Var}(ES(A_1))>\text{Var}(ES(A_2))$。
• 这意味着在大多数情况下，$ES(A_1)$比$ES(A_2)$更大，且其结果的离散程度也更大。

举例说明6

假设我们有两个数组$A_1$和$A_2$的偏差项分别服从正态分布$N(0,{\sigma }_1^2)$和$N(0,{\sigma }_2^2)$，其中：

-${\sigma }_1^2=0.5$
-${\sigma }_2^2=0.3$
-$n=3$

计算期望和方差：

-$E(ES(A_1))=3e^{0.5/2}=3e^{0.25}\approx 3\cdot 1.284=3.852$
-$\text{Var}(ES(A_1))=3e^{0.5}(e^{0.5}-1)=3\cdot 1.648\cdot (1.648-1)\approx 3\cdot 1.648\cdot 0.648=3.203$

-$E(ES(A_2))=3e^{0.3/2}=3e^{0.15}\approx 3\cdot 1.162=3.486$
-$\text{Var}(ES(A_2))=3e^{0.3}(e^{0.3}-1)=3\cdot 1.349\cdot (1.349-1)\approx 3\cdot 1.349\cdot 0.349=1.413$

根据这些计算结果，我们可以看出$ES(A_1)$的期望和方差都大于$ES(A_2)$，这验证了我们的结论。

通过这些详细的解释和举例说明，我们可以理解如何通过近似方法处理对数正态分布求和问题，并利用这些结果来支持我们的命题。