【计算机科学与技术】信息论笔记（8）：率失真理论

200804本篇是学习信息论的入门笔记，希望能与各位分享进步！这是第八章：率失真理论~

8. 率失真理论

• 离散信源的有损压缩：信道描述$Q=(q(b_j|a_K){)}_{K\times J}$。
• 连续信源：输出消息在时间和取值上都连续的信源。

8.1 量化

• 量化分类：标量量化和矢量量化。

  • 标量量化：每个信源输出分别量化。
  • 标量量化划分：均匀量化（量化区域等长）和非均匀量化（量化区域可以不等长）。
  • 矢量量化：对信源输出组合进行整体量化。

• 定义8.1.1（标量量化）：仅考虑一个采样点的量化问题。将一个连续幅度值转变成离散幅度值（有限个值）$\hat{x}=Q(x)$。$\Delta i=d_i-d_{i-1}$△i=di-di-1称为量化步长。

• 最优（Max-Lloyd）量化器：信源$X$的概率密度为$p(x)$，$x\to \hat{x}$，量化均方误差为
  $$D=E[(x-\hat{x}{)}^2]=\int (x-\hat{x}{)}^{2}p(x)dx=\sum _{k=1}^K{\int }_{d_{k-1}}^{d_k}p(x)dx$$
  为使$D$最小，可得
  $$d_k=\frac{1}{2}(r_k+r_{k+1}),r_k=({\int }_{d_{k-1}}^{d_k}xp(x)dx)/({\int }_{d_{k-1}}^{d_k}p(x)dx)$$
  代表值$r_k$实际上是输入的概率密度函数在区间$[d_{k-1},d_k]$上的中心矩；

• 均匀量化器：假设信源的概率密度函数关于Y轴对称，仅考虑$x>0$的部分，量化间隔相等。量化值$r_k=((2k-1)/2)d$。目标：对给定概率密度函数$p(x)$和量化分层数$K$，可以确定$d$，使失真最小。

  • 均匀量化失真：
    $$D=2\sum _{k=1}^{K/2-1}{\int }_{(k-1)d}^{kd}(\frac{2k-1}{2}d-$$