统计推断(七) Typical Sequence

1. 一些定理

Markov inequality: $r.v.\mathsf{x}\ge 0$
$$\mathbb{P}(x\ge \mu )\le \frac{\mathbb{E}[x]}{\mu }$$
Proof: omit…

Weak law of large numbers(WLLN): $\vec{y}=[y_1,y_2,...,y_N{]}^T,y_i\sim pi.i.d$
$$\underset{N\to \infty }{\lim }\mathbb{P}(|L_p(\vec{y})+H(p)|>\epsilon )=0,\forall \epsilon >0$$
Proof: omit…

2. Typical set

• Definition: T ε ( p ; N ) = { y ⃗ ∈ Y N : ∣ L p ( y ⃗ ) + H ( p ) ∣ < ε } \mathcal{T}_\varepsilon(p;N)=\{\vec{y}\in\mathcal{Y}^N:|L_p(\vec{y})+H(p)|<\varepsilon\} Tε​(p;N)={y ​∈YN:∣Lp​(y ​)+H(p)∣<ε}

• Properties

  • WLLN $⟹P\left(\vec{y}\in {\mathcal{T}}_{\epsilon }(p;N)\right)\simeq 1$, $N$ large
  • $L_p(\vec{y})\simeq H(p)⟹p_y(\vec{y})\simeq 2^{-NH(p)}$
  • $⟹|{\mathcal{T}}_{\epsilon }(p;N)|\simeq 2^{NH(p)}$
  • 当 p 不是均匀分布的时候，$\frac{|{\mathcal{T}}_{\epsilon }(p;N)|}{|{\mathcal{Y}}^N|}\to 0$，也就是说典型集中元素(序列)个数在所有可能的元素(序列)中所占比例趋于 0，但是典型集中元素概率的和却趋近于 1

• Theorem

  Asymptotic Equipartition Property(AEP)

  $$\underset{N\to \infty }{\lim }P({\mathcal{T}}_{\epsilon }(p;N))=1$$

  $$2^{-N(H(p)+ϵ)}\le p_{\mathrm{y}}(\mathbf{y})\le 2^{-N(H(p)-ϵ)},\forall \mathbf{y}\in {\mathcal{T}}_{ϵ}(p;N)$$

  • for a sufficient large $N$

  $$(1-ϵ)2^{N(H(p)-ϵ)}\le \left|{\mathcal{T}}_{ϵ}(p;N)\right|\le 2^{N(H(p)+ϵ)}$$

  Proof:
  ∣ T ϵ ( p ; N ) ∣ = ∑ y ∈ T ϵ ( p ; N ) 1 = 2 N ( H ( p ) + ϵ ) ∑ y ∈ T ϵ ( p ; N ) 2 − N ( H ( p ) + ϵ ) ≤ 2 N ( H ( p ) + ϵ ) ∑ y ∈ T ϵ ( p ; N ) p y ( y ) = 2 N ( H ( p ) + ϵ ) P { T ϵ ( p ; N ) } ≤ 2 N ( H ( p ) + ϵ ) \begin{aligned}\left|\mathcal{T}_{\epsilon}(p ; N)\right| &=\sum_{\boldsymbol{y} \in \mathcal{T}_{\epsilon}(p ; N)} 1 \\ &=2^{N(H(p)+\epsilon)} \sum_{\boldsymbol{y} \in \mathcal{T}_{\epsilon}(p ; N)} 2^{-N(H(p)+\epsilon)} \\ & \leq 2^{N(H(p)+\epsilon)} \sum_{\boldsymbol{y} \in \mathcal{T}_{\epsilon}(p ; N)} p_{\mathbf{y}}(\boldsymbol{y}) \\ &=2^{N(H(p)+\epsilon)} P\left\{\mathcal{T}_{\epsilon}(p ; N)\right\} \\ & \leq 2^{N(H(p)+\epsilon)} \end{aligned} ∣Tϵ​(p;N)∣​=y∈Tϵ​(p;N)∑​1=2N(H(p)+ϵ)y∈Tϵ​(p;N)∑​2−N(H(p)+ϵ)≤2N(H(p)+ϵ)y∈Tϵ​(p;N)∑​py​(y)=2N(H(p)+ϵ)P{Tϵ​(p;N)}≤2N(H(p)+ϵ)​
  

3. Divergence $\epsilon$-typical set

• WLLN: $\vec{y}=[y_1,y_2,...,y_N{]}^T,y_i\sim pi.i.d$
  $$
  L_{p | q}(\boldsymbol{y})=\frac{1}{N} \log \frac{p_{\mathbf{y}}(\boldsymbol{y})}{q_{\mathbf{y}}(\boldsymbol{y})}=\frac{1}{N} \sum_{n=1}^{N} \log \frac{p\left(y_{n}\right)}{q\left(y_{n}\right)} \

  \lim {N \rightarrow \infty} \mathbb{P}\left(\left|L{p | q}(\boldsymbol{y})-D(p | q)\right|>\epsilon\right)=0
  $$
  Remarks: 前面只考虑的均值，这里还考虑了另一个分布

• Definition: $\vec{\mathbf{y}}=[y_1,y_2,...,y_N{]}^T,y_i\sim pi.i.d$
  $${\mathcal{T}}_{ϵ}(p|q;N)=\left\{\mathbf{y}\in {\mathcal{Y}}^N:\left|L_{p|q}(\mathbf{y})-D(p\Vert q)\right|\le ϵ\right\}$$

• Properties

  • WLLN $⟹q_{\mathbf{y}}(\mathbf{y})\approx p_{\mathbf{y}}(\mathbf{y})2^{-ND(p\Vert q)}$
  • Q { T ϵ ( p ∣ q ; N ) } ≈ 2 − N D ( p ∥ q ) → 0 Q\left\{\mathcal{T}_{\epsilon}(p | q ; N)\right\} \approx 2^{-N D(p \| q)} \to0 Q{Tϵ​(p∣q;N)}≈2−ND(p∥q)→0
  • Remarks: p 的典型集可能是 q 的非典型集，在 $N$ 很大的时候，不同分布的 typical set 是正交的

• Theorem
  ( 1 − ϵ ) 2 − N ( D ( p ∥ q ) + ϵ ) ≤ Q { T ϵ ( p ∥ q ; N ) } ≤ 2 − N ( D ( p ∥ q ) − ϵ ) (1-\epsilon) 2^{-N(D(p \| q)+\epsilon)} \leq Q\left\{\mathcal{T}_{\epsilon}(p \| q ; N)\right\} \leq 2^{-N(D(p \| q)-\epsilon)} (1−ϵ)2−N(D(p∥q)+ϵ)≤Q{Tϵ​(p∥q;N)}≤2−N(D(p∥q)−ϵ)

4. Large deviation of sample averages

Theorem (Cram´er’s Theorem): $\vec{\mathbf{y}}=[y_1,y_2,...,y_N{]}^T,y_i\sim qi.i.d$ with mean $\mu <\infty$ and $\gamma >\mu$
$$\underset{N\to \infty }{\lim }-\frac{1}{N}\log \mathbb{P}\left(\frac{1}{N}\sum _{n=1}^N{y}_n\ge \gamma \right)=E_C(\gamma )$$
where $E_C(\gamma )$ is referred as Chernoff exponent
$$E_C(\gamma )\triangleq D(p(\cdot ;x)\Vert q),p(\cdot ;x)=q(y)e^{xy-\alpha (x)}$$
and with $x>0$ chosen such that
$${\mathbb{E}}_{p(\cdot ;x)}[y]=\gamma$$
Proof:

1. $\begin{array}{rl}\mathbb{P}\left(\frac{1}{N}\sum _{n=1}^N{y}_n\ge \gamma \right)& =\mathbb{P}\left(e^{x{\sum }_{n=1}^N{y}_n}\ge e^{Nx\gamma }\right)\\ & \le e^{-Nx\gamma }\mathbb{E}\left[e^{x{\sum }_{n=1}^N{y}_n}\right]\\ & =e^{-Nx\gamma }{\left(\mathbb{E}\left[e^{xy}\right]\right)}^N\\ & \le e^{-N\left(x_{\ast }\gamma -\alpha \left(x_{\ast }\right)\right)}\end{array}$
2. $\phi (x)=x\gamma -\alpha (x)$ 是凸的，最大值取在 ${\mathbb{E}}_{p\left(\cdot ;x_{\ast }\right)}[y]=\dot{\alpha }\left(x_{\ast }\right)=\gamma$
3. 可以证明 $x_{\ast }\gamma -\alpha \left(x_{\ast }\right)=x_{\ast }\dot{\alpha }\left(x_{\ast }\right)-\alpha \left(x_{\ast }\right)=D\left(p\left(\cdot ;x_{\ast }\right)\Vert q\right)$
4. 于是有 $\mathbb{P}\left(\frac{1}{N}{\sum }_{n=1}^N{y}_n\ge \gamma \right)\le e^{-N{E}_C(\gamma )}$
5. 下界的证明，暂时略…

用到的两个事实：$p(y;x)=q(y)\exp (xy-\alpha (x))$

1. $D(p(y;x)||q(y))$ 随着 x 单调增加
2. ${\mathbb{E}}_{p(;x)}[y]$ 随着 x 单调增加

Remarks:

1. 这个定理也相当于表达了 $\mathbb{P}\left(\frac{1}{N}{\sum }_{n=1}^N{y}_n\ge \gamma \right)\cong 2^{-N{E}_{\mathrm{C}}(\gamma )}$
2. 相当于是分布 q 向由 $\mathbb{E}[y]={\sum }_{n=1}^N{y}_n\ge \gamma$ 所定义的一个凸集中投影，恰好投影到边界(线性分布族) $\mathbb{E}[y]=\gamma$ 上，而 $q$ 向线性分布族的投影恰好就是 (10) 中的指数族表达式

5. Types and type classes

• Definition: $\vec{\mathbf{y}}=[y_1,y_2,...,y_N{]}^T$ (不关心真实服从的是哪个分布)

  • type(实质上就是一个经验分布)定义为

  $$\hat{p}(b;\mathbf{y})=\frac{1}{N}\sum _{n=1}^N{1}_b\left(y_n\right)=\frac{N_b(\mathbf{y})}{N}$$

  • ${\mathcal{P}}_N^y$ 表示长度为 $N$ 的序列所有可能的 types
  • type class: ${\mathcal{T}}_N^y(p)=\left\{\mathbf{y}\in y^N:\hat{p}(\cdot ;\mathbf{y})\equiv p(\cdot )\right\},p\in {\mathcal{P}}_N^y$

• Exponential Rate Notation: $f(N)\doteq 2^{N\alpha }$
  $$\underset{N\to \infty }{\lim }\frac{\log f(N)}{N}=\alpha$$
  Remarks: $\alpha$ 表示了指数上面关于 $N$ 的阶数(log、线性、二次 …)

• Properties

  • $\left|{\mathcal{P}}_N^y\right|\le (N+1{)}^{|y|}$
  • $q^N(\mathbf{y})=2^{-N(D(\hat{p}(\cdot \mathbf{y})\Vert q)+H(\hat{p}(\cdot ;\mathbf{y})))}$
    $p^N(\mathbf{y})=2^{-NH(p)}\text{ for }\mathbf{y}\in {\mathcal{T}}_N^y(p)$
  • $c{N}^{-|y|}{2}^{NH(p)}\le \left|{\mathcal{T}}_N^y(p)\right|\le 2^{NH(p)}$

• Theorem
  c N − ∣ y ∣ 2 − N D ( p ∥ q ) ≤ Q { T N y ( p ) } ≤ 2 − N D ( p ∥ q ) Q { T N y ( p ) } ≐ 2 − N D ( p ∥ q ) c N^{-|y|} 2^{-N D(p \| q)} \leq Q\left\{\mathcal{T}_{N}^{y}(p)\right\} \leq 2^{-N D(p \| q)} \\ Q\left\{\mathcal{T}_{N}^{y}(p)\right\} \doteq 2^{-N D(p \| q)} cN−∣y∣2−ND(p∥q)≤Q{TNy​(p)}≤2−ND(p∥q)Q{TNy​(p)}≐2−ND(p∥q)

6. Large Deviation Analysis via Types

• Definition: $\mathcal{R}=\left\{\mathbf{y}\in y^N:\hat{p}(\cdot ;\mathbf{y})\in \mathcal{S}\cap {\mathcal{P}}_N^y\right\}$

Sanov’s Theorem:
Q { S ∩ P N y } ≤ ( N + 1 ) ∣ y ∣ 2 − N D ( p ∗ ∥ q ) Q { S ∩ P N y } ≤ ˙ 2 − N D ( p ∗ ∥ q ) p ∗ = arg ⁡ min ⁡ p ∈ S D ( p ∥ q ) Q\left\{\mathrm{S} \cap \mathcal{P}_{N}^{y}\right\} \leq(N+1)^{|y|} 2^{-N D\left(p_{*} \| q\right)} \\ Q\left\{\mathrm{S} \cap \mathcal{P}_{N}^{y}\right\} \dot\leq 2^{-N D\left(p_{*} \| q\right)} \\ p_{*}=\underset{p \in \mathcal{S}}{\arg \min } D(p \| q) Q{S∩PNy​}≤(N+1)∣y∣2−ND(p∗​∥q)Q{S∩PNy​}≤˙​2−ND(p∗​∥q)p∗​=p∈Sargmin​D(p∥q)

7. Asymptotics of hypothesis testing

• LRT: $L(\mathbf{y})=\frac{1}{N}\log \frac{p_1^N(\mathbf{y})}{p_0^N(\mathbf{y})}=\frac{1}{N}{\sum }_{n=1}^N\log \frac{p_1\left(y_n\right)}{p_0\left(y_n\right)}\frac{>}{<}\gamma$
• $P_F={\mathbb{P}}_0\left\{\frac{1}{N}{\sum }_{n=1}^N{t}_n\ge \gamma \right\}\approx 2^{-ND\left(p^{\ast }\Vert p_0^{\prime }\right)}$
• $P_M=1-P_D\approx 2^{-ND\left(p^{\ast }\Vert p_1^{\prime }\right)}$
• $D\left(p^{\ast }\Vert p_0^{\prime }\right)-D\left(p^{\ast }\Vert p_1^{\prime }\right)=\int p^{\ast }(t)\log \frac{p_1^{\prime }(t)}{p_0^{\prime }(t)}\mathrm{d}t=\int p^{\ast }(t)t\mathrm{d}t={\mathbb{E}}_{p^{\ast }}[\mathrm{t}]=\gamma$

8.Asymptotics of parameter estimation

Strong Law of Large Numbers(SLLN):
$$\mathbb{P}\left(\underset{N\to \infty }{\lim }\frac{1}{N}\sum _{n=1}^N{w}_n=\mu \right)=1$$
Central Limit Theorem(CLT):
$$\underset{N\to \infty }{\lim }\mathbb{P}\left(\frac{1}{\sqrt{N}}\sum _{n=1}^N\left(\frac{w_n-\mu }{\sigma }\right)\le b\right)=\Phi (b)$$
以下三个强度依次递减

1. 依概率 1 收敛(SLLN)：${\mathsf{x}}_N\stackrel{w.p.1}{⟶}a$
2. 概率趋于 0(WLLN):
3. 依分布收敛: ${\mathsf{x}}_N\stackrel{d}{⟶}p$

• Asymptotics of ML Estimation

  Theorem:
  $${\hat{x}}_N=\arg \underset{x}{\max }{L}_N(x;\mathbf{y})$$
  在满足某些条件下(mild conditions)，有
  $$\begin{array}{c}{\hat{x}}_N\stackrel{w\cdot p\cdot 1}{⟶}{x}_0\\ \sqrt{N}\left({\hat{x}}_N-x_0\right)\stackrel{d}{⟶}\mathcal{N}\left(0,J_y{\left(x_0\right)}^{-1}\right)\end{array}$$

---

其他内容请看：
统计推断(一) Hypothesis Test
统计推断(二) Estimation Problem
统计推断(三) Exponential Family
统计推断(四) Information Geometry
统计推断(五) EM algorithm
统计推断(六) Modeling
统计推断(七) Typical Sequence
统计推断(八) Model Selection
统计推断(九) Graphical models
统计推断(十) Elimination algorithm
统计推断(十一) Sum-product algorithm