信道 | 信息论

离散无记忆信道

信息的传播有三个部分：

1. 输入
2. 通道
3. 输出

当输入只有3种符号的时候，每一种符号对应一个概率，那么我们就可以把输入分布用表格的形式写出来：

X	$X_1$ $X_2$ $X_3$
P	$P_1$ $P_2$ $P_3$

要写输入分布也是同样的套路，把 $X$ 替换成 $Y$ 即可。

信道就是信息传播的通道，我们用一个信道矩阵来表示传播过程。

对称的信道矩阵

这里的对称与高等代数里面的对称定义得不同，信道矩阵如果每行元素都相同，只是排列位置不同，每列元素也都相同，只是排列位置不同的话，我们就称它是对称的。

通过信道矩阵来求联合分布

假如输入分布有：

X	0 1
P	$\frac{1}{4}$ 34