Quantization(二)变长公式推导

1.简要介绍

本文简要介绍基于变长码的标量量化。上篇研究了在给定的重构电平K的情况下，将失真降至的量化器的设计，同时有一个前提：假设所有重构level $s_i^{{}^{\prime }}$都用相同长度的码字，为定长编码。
现在我们结合变长码γ来考虑量化器的设计。此时此刻，我们对每一个特定的映射$s_i^{{}^{\prime }}$赋给的码字长度为：$\overline{l}(s_i^{{}^{\prime }})=|\gamma (s_i^{{}^{\prime }})|$。对于编码器来说，我们可以随意采用，比如Huffman编码，此时平均码字长度为：
$$R=\sum _{i=0}^{N-1}p(s_i^{{}^{\prime }})\times \overline{l}(s_i^{{}^{\prime }})$$
偏差Distortion（D）同上一篇的定义。如果我们用Huffman这个变长编码，$\overline{l}(s_i^{{}^{\prime }})$是会随着$p(s_i^{{}^{\prime }})$改变的，所以这个时候我们采用一种受码率约束的损失来衡量效果。形式如下：
$$minDsubjecttoR\le R_{max}$$
or
$$minRsubjecttoD\le D_{max}$$

$R_{max}$和$D_{max}$分别是给定的最大速率和最大值失真。这种约束最小化问题可以是表述为拉格朗日泛函的无约束最小化：
J = D + λ R = E { d 1 ( S , Q ( S ) ) } + λ E { l ‾ ( Q ( S ) ) } J=D+\lambda R=E\{d_1(S,Q(S))\}+ \lambda E\{\overline{l}(Q(S))\} J=D+λR=E{d1​(S,Q(S))}+λE{l(Q(S))}
如果有一个拉格朗日参数$\lambda$满足一个特定的速率$R_{max}$(或特定失真Dmax)，对应的失真D(或速率R)是约束优化问题的一个解。

2.求解$s_i^{{}^{\prime }}$ with constant $u_i$

为了推导出类似于量化器的必要条件，在定长编码的设计中，我们首先假设给定了各个$u_i$是给定的。因为速率R与reconstruction level $s_i^{{}^{\prime }}$，上述最小化即可等价于最小化D。（如果我们采用Huffman算法来编码的话，$\overline{l}(s_i^{{}^{\prime }})$通常只与对应区间的概率有关，而$p(s_i^{{}^{\prime }}$通常情况下只与$u_i$有关。）此时，对于$s_i^{{}^{\prime }}$的求解同上篇求解：
$$\begin{array}{rl}D& =E[f(s_{in}-s_{out})]\\ & =\sum _{i=1}^N{\int }_{-u_i}^{u_{i+1}}f(s-s_i^{{}^{\prime }})p(x)dx+\sum _{i=0}^{N-1}p(s_i^{{}^{\prime }})\overline{l}(s_i^{{}^{\prime }})\end{array}$$
$x_{N+1}=\infty ，x_1=-\infty$

$$\begin{array}{r}\frac{\partial D}{\partial s_i^{{}^{\prime }}}=-{\int }_{u_i}^{u_{i+1}}{f}^{{}^{\prime }}(s-s_i^{{}^{\prime }})p(x)dx=0\\ i=1,...,N(2)\end{array}$$
函数$f(s)$我们采用MSE。
方法一：
E { ( S − s i ′ ) 2 } = E { ( S − E ( s ) + E ( s ) − s i ′ ) 2 } = E { ( S − E ( s ) ) ) 2 } + ( E ( s ) − s i ′ ) 2 ≥ E { ( S − E ( s ) ) ) 2 } \begin{aligned} & E \{ (S-s_i{'})^2 \} \\ & =E\{(S-E(s)+E(s)-s_i{'})^2\} \\ & =E\{(S-E(s)))^2\}+(E(s)-s_i{'})^2 \\ & \ge E\{(S-E(s)))^2\} \end{aligned} ​E{(S−si​′)2}=E{(S−E(s)+E(s)−si​′)2}=E{(S−E(s)))2}+(E(s)−si​′)2≥E{(S−E(s)))2}​
当等号成立时， E { S } = = s i ′ E\{S\} == s_i^{'} E{S}==si′​，即：
s i ′ = E { S } = ∫ u i u i + 1 s f ( s )   d s ∫ u i u i + 1 f ( s )   d s s_i^{'}=E\{S\}=\frac{\int_{u_i}^{u_{i+1}}sf(s)\ ds}{\int_{u_i}^{u_{i+1}}f(s)\ ds} si′​=E{S}=∫ui​ui+1​​f(s) ds∫ui​ui+1​​sf(s) ds​

方法二：
D = E { f ( S , s i ′ ) } = ∫ u i u i + 1 ( s − s i ′ ) 2 f ( s )   d s = ∫ u i u i + 1 s 2 f ( s )   d s ‾ − ∫ u i u i + 1 2 s s i ′ f ( s )   d s + ∫ u i u i + 1 s i ′ 2 f ( s )   d s ‾ \begin{aligned} D&= E\{f(S,s_i^{'})\}=\int_{u_i}^{u_{i+1}}(s-s_i^{'})^2f(s)\ ds \\ & = \underline{\int_{u_i}^{u_{i+1}}s^2f(s)\ ds}-\underline{\int_{u_i}^{u_{i+1}}2ss_i^{'}f(s)\ ds+\int_{u_i}^{u_{i+1}}s_i^{'2}f(s)\ ds } \end{aligned} D​=E{f(S,si′​)}=∫ui​ui+1​​(s−si′​)2f(s) ds=∫ui​ui+1​​s2f(s) ds​−∫ui​ui+1​​2ssi′​f(s) ds+∫ui​ui+1​​si′2​f(s) ds​​
上述第一项为定值，所需对于D最小化来说，我们需要将第二项最小化，即：
$$Mi{n}_{s_i^{{}^{\prime }}}{\int }_{u_i}^{u_{i+1}}{s}_i^{{}^{\prime }2}f(s)ds-{\int }_{u_i}^{u_{i+1}}2s_i^{{}^{\prime }}sf(s)ds$$
为了方便，我们设：
$x={\int }_{u_i}^{u_{i+1}}f(s)ds,y={\int }_{u_i}^{u_{i+1}}sf(s)ds$

$$D=x{s}_i^{{}^{\prime }2}-2y{s}_i^{{}^{\prime }}$$

$$\frac{\partial D}{\partial s_i^{{}^{\prime }}}=2x{s}_i^{{}^{\prime }}-2y=0$$
故：
s i ′ = y x s i ′ = E { S } = ∫ u i u i + 1 s f ( s )   d s ∫ u i u i + 1 f ( s )   d s \begin{aligned} & s_i^{'}=\frac{y}{x} \\ &s_i^{'}=E\{S\}=\frac{\int_{u_i}^{u_{i+1}}sf(s)\ ds}{\int_{u_i}^{u_{i+1}}f(s)\ ds} \end{aligned} ​si′​=xy​si′​=E{S}=∫ui​ui+1​​f(s) ds∫ui​ui+1​​sf(s) ds​​

3.求解$u_i$ with constant $s_i^{{}^{\prime }},\overline{l}(s_i^{{}^{\prime }})$

为求解$u_i$,我们现在假设$s_i^{{}^{\prime }}$以及平均码字长度$\overline{l}(s_i^{{}^{\prime }})$是定值。因为不同的$u_i$会对$p(s_i^{})$产生影响，所以此时我们的最小化函数为：
$$\begin{array}{rl}D& =E[f(s_{in}-s_{out})]+\sum _{i=0}^{N-1}p(s_i^{{}^{\prime }})\overline{l}(s_i^{{}^{\prime }})\\ & =\sum _{i=1}^N{\int }_{u_i}^{u_{i+1}}(s-s_i^{{}^{\prime }}{)}^{2}f(x)dx+\sum _{i=0}^{N-1}p(s_i^{{}^{\prime }})\overline{l}(s_i^{{}^{\prime }})\\ & \\ & wherep(s_i^{{}^{\prime }})={\int }_{u_i}^{u_{i+1}}f(s)ds\end{array}$$
$$\begin{array}{rlrl}(1)becomes(forp(x_i)\ne 0)& & & \\ & f(u_i-s_{i-1}^{{}^{\prime }})+\lambda \overline{l}(s_{i-1}^{{}^{\prime }})=f(u_i-s_i^{{}^{\prime }})+\lambda \overline{l}(s_i^{{}^{\prime }})& & i=2,...,N(3)\end{array}$$

下面我们来详细求解$u_i$：
我们首先定义以下：X=$p(s_{i-1}^{{}^{\prime }})\overline{l}(s_{i-1}^{{}^{\prime }})+p(s_i^{{}^{\prime }})\overline{l}(s_i^{{}^{\prime }})$
∂ D ∂ u i = ∂ ∂ u i { 无 关 项 + ∫ u i − 1 u i ( s − s i − 1 ′ ) 2 f ( s )   d s + ∫ u i u i + 1 ( s − s i ′ ) 2 f ( s )   d s + p ( s i − 1 ′ ) l ‾ ( s i − 1 ′ ) + p ( s i ′ ) l ‾ ( s i ′ ) } = ∂ ∂ u i { 无 关 项 + ∫ u i − 1 u i s 2 f ( s )   d s − ∫ u i − 1 u i 2 s s i − 1 ′ f ( s )   d s + ∫ u i − 1 u i s i − 1 ′ 2 f ( s )   d s + ∫ u i u i + 1 s 2 f ( s )   d s − ∫ u i u i + 1 2 s s i ′ f ( s )   d s + ∫ u i u i + 1 s i ′ 2 f ( s )   d s + X } = ∂ ∂ u i { 无 关 项 − ∫ u i − 1 u i 2 s s i − 1 ′ f ( s )   d s + ∫ u i − 1 u i s i − 1 ′ 2 f ( s )   d s − ∫ u i u i + 1 2 s s i ′ f ( s )   d s + ∫ u i u i + 1 s i ′ 2 f ( s )   d s + X } = ∂ ∂ u i { 无 关 项 − ∫ u i − 1 u i + 1 2 s s i − 1 ′ f ( s )   d s + ∫ u i − 1 u i + 1 s i − 1 ′ 2 f ( s )   d s − ∫ u i u i + 1 2 s ( s i ′ − s i − 1 ′ ) f ( s )   d s + ∫ u i u i + 1 ( s i ′ 2 − s i − 1 ′ 2 ) f ( s )   d s } = ∂ ∂ u i { 无 关 项 − ( s i ′ − s i − 1 ′ ) F 1 ( s ) ∣ u i u i + 1 + ( s i ′ 2 − s i − 1 ′ 2 ) F 2 ( s ) ∣ u i u i + 1 = 2 ( s i ′ − s i − 1 ′ ) u i f ( u i ) − ( s i ′ 2 − s i − 1 ′ 2 ) f ( u i ) + p ′ ( s i − 1 ′ ) l ‾ ( s i − 1 ′ ) + p ′ ( s i ′ ) l ‾ ( s i ′ ) = ( s i ′ − s i − 1 ′ ) f ( u i ) { 2 u i − ( s i ′ + s i − 1 ′ ) + f ( s i − 1 ′ ) l ‾ ( s i − 1 ′ ) + f ( s i ′ ) l ‾ ( s i ′ ) } = 0 = = > u i = s i ′ + s i − 1 ′ 2 + 1 2 ⋅ l ‾ ( s i ′ ) − l ‾ ( s i − 1 ′ ) s i ′ − s i − 1 ′ \begin{aligned} \frac{\partial D}{\partial u_i}&=\frac{\partial }{\partial u_i}\{无关项+\int_{u_i-1}^{u_{i}}(s-s_{i-1}^{'})^2f(s)\ ds+\int_{u_i}^{u_{i+1}}(s-s_i^{'})^2f(s)\ ds +p(s_{i-1}^{'})\overline{l}(s_{i-1}^{'})+p(s_i^{'})\overline{l}(s_i^{'})\} \\ = \frac{\partial }{\partial u_i}\{无关项&+\int_{u_i-1}^{u_{i}}s^2f(s)\ ds -\int_{u_i-1}^{u_{i}}2ss_{i-1}^{'}f(s)\ ds +\int_{u_i-1}^{u_{i}}s_{i-1}^{'2}f(s)\ ds \\ &+\int_{u_i}^{u_{i+1}}s^2f(s)\ ds -\int_{u_i}^{u_{i+1}}2ss_{i}^{'}f(s)\ ds +\int_{u_i}^{u_{i+1}}s_{i}^{'2}f(s)\ ds +X \} \\ =\frac{\partial }{\partial u_i}\{无关项&-\int_{u_i-1}^{u_{i}}2ss_{i-1}^{'}f(s)\ ds +\int_{u_i-1}^{u_{i}}s_{i-1}^{'2}f(s)\ ds \\ &-\int_{u_i}^{u_{i+1}}2ss_{i}^{'}f(s)\ ds +\int_{u_i}^{u_{i+1}}s_{i}^{'2}f(s)\ ds +X\} \\ =\frac{\partial }{\partial u_i}\{无关项&-\int_{u_i-1}^{u_{i+1}}2ss_{i-1}^{'}f(s)\ ds +\int_{u_i-1}^{u_{i+1}}s_{i-1}^{'2}f(s)\ ds \\ &-\int_{u_i}^{u_{i+1}}2s(s_{i}^{'}-s_{i-1}^{'})f(s)\ ds +\int_{u_i}^{u_{i+1}}(s_{i}^{'2}-s_{i-1}^{'2})f(s)\ ds \} \\ &=\frac{\partial }{\partial u_i}\{无关项-(s_{i}^{'}-s_{i-1}^{'})F_1(s)|_{u_i}^{u_{i+1}}+(s_{i}^{'2}-s_{i-1}^{'2})F_2(s)|_{u_i}^{u_{i+1}} \\ &=2(s_{i}^{'}-s_{i-1}^{'})u_if(u_i)-(s_{i}^{'2}-s_{i-1}^{'2})f(u_i) +p^{'}(s_{i-1}^{'})\overline{l}(s_{i-1}^{'})+p^{'}(s_i^{'})\overline{l}(s_i^{'})\\ &=(s_{i}^{'}-s_{i-1}^{'})f(u_i)\{2u_i-(s_{i}^{'}+s_{i-1}^{'})+f(s_{i-1}^{'})\overline{l}(s_{i-1}^{'})+f(s_i^{'})\overline{l}(s_i^{'})\}=0 \\ &==>u_i=\frac{s_{i}^{'}+s_{i-1}^{'}}{2}+\frac{1}{2}\cdot \frac{\overline{l}(s_i^{'})-\overline{l}(s_{i-1}^{'})}{s_i^{'}-s_{i-1}^{'}} \end{aligned} ∂ui​∂D​=∂ui​∂​{无关项=∂ui​∂​{无关项=∂ui​∂​{无关项​=∂ui​∂​{无关项+∫ui​−1ui​​(s−si−1′​)2f(s) ds+∫ui​ui+1​​(s−si′​)2f(s) ds+p(si−1′​)l(si−1′​)+p(si′​)l(si′​)}+∫ui​−1ui​​s2f(s) ds−∫ui​−1ui​​2ssi−1′​f(s) ds+∫ui​−1ui​​si−1′2​f(s) ds+∫ui​ui+1​​s2f(s) ds−∫ui​ui+1​​2ssi′​f(s) ds+∫ui​ui+1​​si′2​f(s) ds+X}−∫ui​−1ui​​2ssi−1′​f(s) ds+∫ui​−1ui​​si−1′2​f(s) ds−∫ui​ui+1​​2ssi′​f(s) ds+∫ui​ui+1​​si′2​f(s) ds+X}−∫ui​−1ui+1​​2ssi−1′​f(s) ds+∫ui​−1ui+1​​si−1′2​f(s) ds−∫ui​ui+1​​2s(si′​−si−1′​)f(s) ds+∫ui​ui+1​​(si′2​−si−1′2​)f(s) ds}=∂ui​∂​{无关项−(si′​−si−1′​)F1​(s)∣ui​ui+1​​+(si′2​−si−1′2​)F2​(s)∣ui​ui+1​​=2(si′​−si−1′​)ui​f(ui​)−(si′2​−si−1′2​)f(ui​)+p′(si−1′​)l(si−1′​)+p′(si′​)l(si′​)=(si′​−si−1′​)f(ui​){2ui​−(si′​+si−1′​)+f(si−1′​)l(si−1′​)+f(si′​)l(si′​)}=0==>ui​=2si′​+si−1′​​+21​⋅si′​−si−1′​l(si′​)−l(si−1′​)​​

4.例子

下图展示了一个均值为零，方差为1的高斯分布的迭代过程。由第二部分，在码率的限制下我们的$u_i$的迭代表达式为：
$$u_i=\frac{s_i^{{}^{\prime }}+s_{i-1}^{{}^{\prime }}}{2}+\frac{1}{2}\cdot \frac{\overline{l}(s_i^{{}^{\prime }})-\overline{l}(s_{i-1}^{{}^{\prime }})}{s_i^{{}^{\prime }}-s_{i-1}^{{}^{\prime }}}$$
其结果是决策阈值$u_i$的改变从两个重建level的均值向间隔码字长度长的方向平移，即使码字长度长的$s_i^{{}^{\prime }}$分配的概率较小，从而减少平均码率。
也就是说，$u_{N/2}$越接近于零（对于0附近概率密度较大的函数），得到的distortion越小，此时，各个$p(s_i^{{}^{\prime }})$的概率越接近，但此时所需要的entropy也越大；在相应的拉格朗日参数作用下，将$u_i$想$s_{i+1}^{{}^{\prime }}$偏，D和拉格朗日参数$\lambda$持相反的作用。


上图左侧，划分的间隔较多，所以一开始初始化的$u_i,s_i^{{}^{\prime }}$都较小，所以$\lambda$参数起的作用较大，向外偏；针对有图来说的话，划分的间隔较少，初试的$u_i,s_i^{{}^{\prime }}$都较大，所以一开始D起的作用较大，当$u_i$减小到一定值之后，粉红色区域的概率很容易就大于绿色的区域，所以此时distortion D和拉格朗日参数$\lambda$对$u_i$起的作用都相同，都是使得$u_i$趋向于0。
博客园

Reference:Source coding