译码准则

错误概率以及译码规则

假定现在有一个二元对称信道，其$\epsilon =\frac{2}{3}$，译码器将接收到符号0译成发送符号为0，将收到符号1译成发送符号1。如果按照这个规则进行译码，只有当发送符号为0并且接收端收到0时为正确译码，因此对于发送符号0来说，译对的可能性只有$\frac{1}{3}$，如果发送端发送0而接收端收到了1，因而译码成1，显然是错误译码。如果发送端以等概率发送0,1，则平均错误概率为$$P_E=P(0)P_e^{(0)}+P(1)P_e^{(1)}=\frac{2}{3}$$
而如果译码器将收到的0译成1，收到的1译成0，译错的可能性就会变成$\frac{1}{3}$
接下来定义译码规则：设离散单符号信道的输入符号集为$A=a_i,i=1,2,\cdots ,r$，输出符号集为$B=b_j,j=1,2,\cdots ,s$，制定译码规则就是定义一个函数$F(b_j)$，使得$F(b_j)=a_i$

最大后验概率准则

如果信道收到符号$b_j$，就将它译成$a_i$，如果发送端发送的就是$a_i$，就将它看作是正确译码，反之就是错误译码，条件错误概率可以表达为
$$P(e|b_j)=1-P[F(b_j)|b_j]=1-P(a_i|b_j)$$，对译码空间取均值即为平均错误概率$$P_E=\sum _{j=1}^{s}P(b_j)P(e|b_j)$$
$P(b_j)$与译码准则无关，所以我们只要让每一个条件错误概率最小即可，即选择译码函数$$F(b_j)=a^{\ast }$$使得$$P(a^{\ast }|b_j)\ge P(a_i|b_j)$$也可以表达为$$P(a^{\ast },b_j)\ge P(a_i,b_j)$$这就是最大后验概率准则或最小错误概率准则

最大似然译码准则

由贝叶斯概率公式可知
$$\frac{P(b_j|a^{\ast })P(a^{\ast })}{P(b_j)}\ge \frac{P(b_j|a_i)P(a_i)}{P(b_j)}$$
$$P(b_j|a^{\ast })P(a^{\ast })\ge P(b_j|a_i)P(a_i)$$
如果输入等概率分布，可以表达成
$$P(b_j|a^{\ast })\ge P(b_j|a_i)$$

最小距离译码准则

定义码集中的任意两个码字，其汉明距离的最小值为这个码集的最小距离$$D({\alpha }^{\ast },{\beta }_j)\le D({\alpha }_i,{\beta }_j)$$

总结

总而言之，最大似然译码准则就是给定一个传递函数矩阵$P$,对于一个给定的$j$，找出第$j$列概率的最大值（假设在第$i$行），$b_j$就译成$a_i$
而对于最大后验概率准则，则先要求出联合概率矩阵，在仿照最大似然译码准则进行译码