信源：产生消息和消息序列的来源
信道：传输的媒介
信宿：接受消息的人或机器
概率越小，信息量越大；概率越大，接近于1，那么信息量会趋于0，也就是信息量越小。
一个事件的信息量就是这个事件发生的概率的负对数
定义一为热力学的克劳修斯熵
定义二为量子力学的玻尔兹曼熵
信息熵是跟所有可能性有关系的。每个可能事件的发生都有个概率。
信息熵就是平均而言发生一个事件我们得到的信息量大小 即 平均信息量。
数学上，信息熵是信息量的期望。
也
可
以
写
成
：
H
=
−
∑
x
∈
U
P
(
x
)
log
2
P
(
x
)
也可以写成：H=-\sum_{x\in{U}}P(x)\log_2P(x)
也可以写成：H=−x∈U∑P(x)log2P(x)
举例求信息熵：
Shannon三定律
例如：ASCII码，摩尔斯码，huffman编码
例如：音频、视频、图像的编码
香农公式：
2
B
2B
2B 和
1
2
log
(
1
+
S
N
)
\frac{1}{2}\log({1+\frac{S}{N}})
21log(1+NS)的乘积
前者（2B）：奈奎斯特带宽的倍
后者：在每个符号上~~~
单位：bit/s
举例：Turbo码、 Polar码、 LDPC (Low Density Parity Check Code)
先进信道编码
LDPC码的译码算法是一种基于稀疏矩阵的并行迭代译码算法
低密度：指校验矩阵中1的密度比较低，例如：
网络信息论
对于网络的容量问题：
最大流最小割：能够从源点到达汇点的最大流量等于如果从网络中移除就能够导致网络流中断的边的集合的最小容量和。即在任何网络中，最大流的值等于最小割的容量。
详解：最大流最小割
经典例子：
S广播一个数据包,a,b都是0、1组成的bit数据包
moduel 2 add：模2加 （ 0+0=0,1+1=0）
例二：
A最后得到是的
b
A
⊕
b
R
=
b
A
⊕
b
A
⊕
b
B
=
b
B
b_{A}\oplus b_{R}=b_{A}\oplus b_{A}\oplus b_{B}=b_{B}
bA⊕bR=bA⊕bA⊕bB=bB
通信+机器学习
计算、存储、通信的融合
信息论 前沿展望：
一.Semantic Information Theory
问题与未来发展研究方向
某些尝试、解决方法：（模糊熵）
二.Quantum Information Theory
Bloch sphere：
三.Bioinformatics
扫一扫
660
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
