论文简介
-
作者
Jie Bao
Prithwish Basu
Mike Dean
Craig Partridge -
发表期刊or会议
《IEEE Network Science Workshop》 -
发表时间
2011.6
文章介绍
这是一篇较早的关于语义通信理论的文章，可以很好的了解语义通信的历史，其中介绍了语义通信的模型、语义熵、语义压缩边界、语义噪声、信道编码和语义信道容量。可以看到，覆盖的点很多，谷歌学术上显示有150+的文章引用了这篇论文。
语义通信的模型
Weaver(1949年)认为香农的信息论可以扩展到语义和语用级别，例如在香农的通信模型中加入“语义发射机”，“语义接收机”和“语义噪声”。
然而，截止到这篇论文发表(2011年)，语义通信的通用模型仍然很大程度上未被探索(缺乏语义的数学模型)
作者在这篇文章提出了一个语义通信的通用模型：
在讲通用模型之前，首先来看，什么是semantic source：
文章解释到：非正式地，语义源是一个可以使用给定语法发出消息的实体，根据其状态和推理能力，这些消息是“真实的”
（写的不太像人话，个人翻译一下，语义源是一个
实体，具有推理能力，自身状态等等，可以将语法转为消息；可以把语义源想成一个人，依据自己的认知，知识背景对事物进行描述）
回到通用模型，其中语义源是一个元组
(
W
s
、
K
s
、
I
s
、
M
s
)
(W_s、K_s、I_s、M_s)
(Ws、Ks、Is、Ms):
•
W
s
W_s
Ws 是源可能观察到的世界模型；
•
K
s
K_s
Ks 是源的背景知识库；
•
I
s
I_s
Is 是源使用的推理过程；
•
M
s
M_s
Ms 是源用来对消息进行编码的消息生成器（语义编码器）。
语义编码器可以根据不同的场景定制不同的编码策略，例如发送最准确的消息，最容易生成的消息或接收端需要的消息等等。与通信原理的发送器类似，语义编码器可以处理如何减少消息中的冗余（信源编码）以及如何提高传输的可靠性（信道编码）不理解
语义编码器的输出可以被视为信源的 interface language不理解
语义编码器的输出将通过传统（即非语义）信道进行传输，其中传统发送器和传统接收器将负责工程编码/解码任务(信道编码、信道解码其实属于传统通信的范畴，跟语义无关)
语义信宿同样是一个元组
(
W
r
、
K
r
、
I
r
、
M
r
)
(W_r、K_r、I_r、M_r)
(Wr、Kr、Ir、Mr):
•
W
r
W_r
Wr 是接收器的世界模型；
•
K
r
K_r
Kr 是接收者的背景知识库；
•
I
r
I_r
Ir 是接收器使用的推理过程；
•
M
r
M_r
Mr 是消息解释器（语义解码器）。
请注意，在语义通信中，发送端和接收端会全部或部分共享背景知识库和推理过程，因此会影响语义匹配的结果。
此外，还可能存在从信宿到信源的反馈通道 不理解
文章中举了一个生动的例子，详解见文章III部分
语义熵
在经典信息论（Classical Information Theory,CIT）中，消息的熵由出现该消息的符号的统计概率决定。在经典语义信息理论 (Classical Semantic Information Theory,CSIT)中，语句的熵由其逻辑概率决定，即观察到该语句为真的可能世界的可能性。
文章先推理了 语义熵：
m
(
x
)
=
μ
(
W
x
)
μ
(
W
)
=
∑
w
∈
W
,
w
⊨
x
μ
(
w
)
∑
w
∈
W
μ
(
w
)
m(x)=\frac{\mu\left(W_x\right)}{\mu(W)}=\frac{\sum_{w \in W, w \models x} \mu(w)}{\sum_{w \in W} \mu(w)}
m(x)=μ(W)μ(Wx)=∑w∈Wμ(w)∑w∈W,w⊨xμ(w)
H
s
(
x
)
=
−
log
2
(
m
(
x
)
)
H_s(x)=-\log _2(m(x))
Hs(x)=−log2(m(x))
具体解释见IV.A， 一堆公式看不懂
然后介绍了当存在背景知识库时，语义熵表示为条件逻辑概率：
m
(
x
∣
K
)
=
∑
w
∈
W
,
w
⊨
K
,
x
μ
(
w
)
∑
w
∈
W
,
w
⊨
K
μ
(
w
)
m(x \mid K)=\frac{\sum_{w \in W, w \models K, x} \mu(w)}{\sum_{w \in W, w \models K} \mu(w)}
m(x∣K)=∑w∈W,w⊨Kμ(w)∑w∈W,w⊨K,xμ(w)
H
s
(
x
∣
K
)
=
log
2
m
(
x
∣
K
)
H_s(x \mid K)=\log _2 m(x \mid K)
Hs(x∣K)=log2m(x∣K)
具体解释见IV.B，一堆公式也看不懂
举了个小例子(见IV.B)，没有背景知识库和有背景知识库时的语义熵分别为：
H
(
W
)
=
−
4
∗
0.25
log
2
(
0.25
)
=
2
H(W)=-4 * 0.25 \log _2(0.25)=2
H(W)=−4∗0.25log2(0.25)=2
H
(
W
∣
K
)
=
−
3
∗
1
/
3
log
2
(
1
/
3
)
=
1.585
H(W \mid K)=-3 * 1 / 3 \log _2(1 / 3)=1.585
H(W∣K)=−3∗1/3log2(1/3)=1.585
如果信源和信宿不共享背景知识库，那么背景知识库的存在降低了信源的信息量。
然而，如果背景知识库是共享的，语义熵的减少意味着我们可以在不丢失信息的情况下压缩信源。一般来说，在共享背景知识的帮助下，我们将能够使用更少的消息进行交流，以实现信源的最大信息量。
提出三个定理
定理一：语用熵和语义熵的关系
H
(
X
)
=
H
(
W
)
+
H
(
X
∣
W
)
−
H
(
W
∣
X
)
H(X)=H(W)+H(X \mid W)-H(W \mid X)
H(X)=H(W)+H(X∣W)−H(W∣X)
直观上，
H
(
X
∣
W
)
H(X|W)
H(X∣W)衡量编码的语义冗余度，
H
(
W
∣
X
)
H(W|X)
H(W∣X)衡量编码的语义模糊度。该定理指出，语用熵可以大于或小于语义熵，具体取决于冗余或模糊性是否较大。
具体解释见IV. C
定理二：无损语义压缩
对于具有interface language
X
X
X的语义源，存在一种编码策略来生成语义等效的interface language
X
′
X'
X′，其语用熵(经典信息论中的熵)
H
(
X
′
)
≥
H
(
X
)
H(X')≥H(X)
H(X′)≥H(X)。语用熵
H
(
X
′
)
<
H
(
X
)
H(X') < H(X)
H(X′)<H(X) 时不存在这样的
X
′
X'
X′
为什么是语用熵？个人理解：经过语义编码后生成interface language，然后还会经过信道编码，此时可以用语用熵来衡量
具体解释见IV. D
定理三：语义信道编码
对于每个离散的无记忆通道，语义信道容量为：
C
s
=
sup
p
(
X
∣
W
)
{
I
(
X
;
Y
)
−
H
(
W
∣
X
)
+
H
S
(
Y
)
‾
}
C_s=\sup _{p(X \mid W)}\left\{I(X ; Y)-H(W \mid X)+\overline{H_S(Y)}\right\}
Cs=p(X∣W)sup{I(X;Y)−H(W∣X)+HS(Y)}
之前写的博客解释了这个 文献阅读：Semantic Communications: Principles and Challenges
具体解释见V.B
知识点
-
文章中提到的一些语义通信的问题：
语义如何帮助数据压缩和可靠通信？
语义编码/解码与工程编码/解码问题有何关系？
什么是语义噪声？
语义编码是否存在可实现的界限，类似于香农在工程通信中建立的界限？
我们应该考虑哪些因素来提高语义通信的有效率和可靠性？
放到今天，依然值得思考 -
语义通信的发展：
- 香农 [1] 在1948年发表经典信息论（Classical Information Theory,CIT）。香农的CIT只关注语法层面，因此，“通信的语义方面与工程问题无关”
- Weaver [2] 在1949年，香农提出信息论一年后，提出通信涉及语法、语义和语用三个层面的问题
- Carnap 和 Bar-Hillel [3] 在1952年最早引入“语义信息论”(semantic information theory,SIT) ，此后称为经典语义信息理论 (Classical Semantic Information Theory,CSIT)。
- Floridi [4] 在2004年提出了强语义信息理论（Theory of Strongly Semantic Information,TSSI）。主要动机之一是解决 CSIT 中所谓的 Bar-Hillel-Carnap Paradox (BCP)，该悖论指出矛盾具有无限量的信息
[1] A mathematical theory of communication
[2] The Mathematical Theory of Communication
[3] An outline of a theory of semantic information
[4] Outline of a theory of strongly semantic information
-
经典信息论和语义信息论的不同
扫一扫
963
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
