200804
本篇是学习信息论的入门笔记,希望能与各位分享进步!这是第八章:率失真理论~
文章目录
8. 率失真理论
- 离散信源的有损压缩:信道描述 Q = ( q ( b j ∣ a K ) ) K × J Q=(q(b_j | a_K))_{K\times J} Q=(q(bj∣aK))K×J。
- 连续信源:输出消息在时间和取值上都连续的信源。
8.1 量化
-
量化分类:标量量化和矢量量化。
- 标量量化:每个信源输出分别量化。
- 标量量化划分:均匀量化(量化区域等长)和非均匀量化(量化区域可以不等长)。
- 矢量量化:对信源输出组合进行整体量化。
-
定义8.1.1(标量量化):仅考虑一个采样点的量化问题。将一个连续幅度值转变成离散幅度值(有限个值) x ^ = Q ( x ) \hat{x}=Q(x) x^=Q(x)。 Δ i = d i − d i − 1 \Delta i = d_i - d_{i-1} Δi=di−di−1△i=di-di-1称为量化步长。
-
最优(Max-Lloyd)量化器:信源 X X X的概率密度为 p ( x ) p(x) p(x), x → x ^ x\to \hat{x} x→x^,量化均方误差为
D = E [ ( x − x ^ ) 2 ] = ∫ ( x − x ^ ) 2 p ( x ) d x = ∑ k = 1 K ∫ d k − 1 d k p ( x ) d x D = E[(x-\hat{x})^2] = \int (x-\hat{x})^2p(x)dx = \sum_{k=1}^K\int_{d_{k-1}}^{d_k}p(x)dx D=E[(x−x^)2]=∫(x−x^)2p(x)dx=k=1∑K∫dk−1dkp(x)dx
为使 D D D最小,可得
d k = 1 2 ( r k + r k + 1 ) , r k = ( ∫ d k − 1 d k x p ( x ) d x ) / ( ∫ d k − 1 d k p ( x ) d x ) d_k = \frac{1}{2}(r_k+r_{k+1}),r_k = (\int_{d_{k-1}}^{d_k}xp(x)dx)/(\int_{d_{k-1}}^{d_k}p(x)dx) dk=21(rk+rk+1),rk=(∫dk−1dkxp(x)dx)/(∫dk−1dkp(x)dx)
代表值 r k r_k rk实际上是输入的概率密度函数在区间 [ d k − 1 , d k ] [d_{k-1}, d_k] [dk−1,dk]上的中心矩; -
均匀量化器:假设信源的概率密度函数关于Y轴对称,仅考虑 x > 0 x>0 x>0的部分,量化间隔相等。量化值 r k = ( ( 2 k − 1 ) / 2 ) d r_k = ((2k-1)/2)d rk=((2k−1)/2)d。目标:对给定概率密度函数 p ( x ) p(x) p(x)和量化分层数 K K K,可以确定 d d d,使失真最小。
- 均匀量化失真:
D = 2 ∑ k = 1 K / 2 − 1 ∫ ( k − 1 ) d k d ( 2 k − 1 2 d − x ) 2 p ( x ) d x + 2 ∫ ( K / 2 − 1 ) d ∞ ( K − 1 2 d − x ) 2 p ( x ) d x D=2 \sum_{k=1}^{K / 2-1} \int_{(k-1) d}^{k d}\left(\frac{2 k-1}{2} d-x\right)^{2} p(x) \mathrm{d} x+ 2 \int_{(K / 2-1) d}^{\infty}\left(\frac{K-1}{2} d-x\right)^{2} p(x) \mathrm{d} x D=2k=1∑K/2−1∫(k−1)dkd(22k−1d−x)
- 均匀量化失真: