《信息与编码》考试复习笔记1----第一章概论

系列文章链接目录

一、《信息与编码》考试复习笔记1----第一章概论
二、《信息与编码》考试复习笔记2----第二章离散信息源
三、《信息与编码》考试复习笔记2----第二章离散信息源相关例题
四、《信息与编码》考试复习笔记3----第三章无失真离散信源编码（重要）
五、《信息与编码》考试复习笔记3----第三章无失真离散信源编码补充例题
六、《信息与编码》考试复习笔记4----第四章离散信道容量
七、《信息与编码》考试复习笔记4----第四章离散信道容量相关例题
八、《信息与编码》考试复习笔记5----第五章纠错编码（难点）
九、《信息与编码》考试复习笔记5----第五章纠错编码相关例题（难点）
十、《信息与编码》考试复习笔记----前五章题目补充
十一、《信息与编码》考试复习笔记5----第五章纠错编码–伴随式纠错译码及标准阵列译码补充（难点）
十二、《信息与编码》考试复习笔记6----第六章连续信源熵和信道容量（考点在连续信道容量）
十三、《信息与编码》考试复习笔记6----第六章连续信源熵和信道容量相关例题
十四、《信息与编码》考试复习笔记7----第七章信息率失真函数（有计算无难度）
十五、《信息与编码》考试复习笔记7----第七章信息率失真函数相关例题

---

---

前言

这门课复习的时候有点学不进去，打算以此记录复习过程，也算加深一下印象，与大家一起学习。

信息论的创始人是克劳德·艾尔伍德·香农（Claude Elwood Shannon）

信息论的基础是香农信息论，学习此门课的关键主要包括“信息测度”，“信道容量”，“香农三大定理”（无失真信源编码定理，信道编码定理，限失真信源编码定理），“信源编码”，“信道编码”，“信息率失真函数”。

一、信息的概念与分类

1.1信息的概念

信息是信息论中最基本、最重要的概念，它是一个既抽象又复杂的概念。信息的概念是在实践中产生，以前一直被看作是消息的同义词。信息的概念十分广泛，不同的定义在上百种以上。包括信息是事物之间的差异；信息是事物联系的普遍形式；信息是物质的普遍属性；信息是使概率分布发生改变的东西；信息是物质成分的意识成分按完全特殊的方式融合起来的产物……

香农对信息的定义：
信息：是对事物运动状态和变化方式的表征，它存在于任何事物之中，可以被认识主体（人或机器）获取和利用。

全信息：同时考虑外在形式/语法信息、内在含义/语义信息、效用价值/语用信息，称为全信息。

⮚ 语法信息：事物运动状态和状态改变的方式；
⮚ 语义信息：事物运动状态和方式的具体含义；
⮚ 语用信息：事物运动状态和方式及其含义对观察者的效用。

香农信息论：考虑事物运动状态及其变化方式的外在形式，实际上研究的是语法信息。

信息的11条重要性质：
列举出来分别是：①存在的普遍性②有序性③相对性④可度量性⑤可扩充性⑥可存储、传输与携带型⑦可压缩性⑧可替代性⑨可扩散性⑩可共享性⑪时效性

相应的解释如下：
⮚存在的普遍性：信息存在于自然界、人类社会，其本质是运动和变化的。哪里有事物的运动变化，哪里就会产生信息。它处处存在，它既区别于物质和能量，又与物质和能量有相互依存的关系。
⮚ 有序性：要使一个系统从无序变为有序，必须从外界获取信息。
⮚ 相对性：同一个事物，不同的观察者获得的信息量可能不同。
⮚ 可度量性：信息的多少用信息量表示。
⮚ 可扩充性：信息随人的认识的提高在不断的扩充。
⮚ 可存储、传输与携带性
⮚ 可压缩性：信息论研究的主要问题之一。
⮚ 可替代性：可替代劳力、资本、物质材料、时间。
⮚ 可扩散性：可在短时间内较大范围扩散开。
⮚ 可共享性：没有信息的共享性就没有人类社会的发展和进步。
⮚ 时效性：信息是有“寿命”的。

1.2信息的分类

信息是一种非常复杂的的研究对象，分类有许多不同的准则和方法。其中按照信息性质可分为①语法信息②语义信息③语用信息

语法信息考虑的是事物运动状态和变化方式的外在形式。事物运动状态可能是连续的也可能是离散的，于是又可以分成连续状态和离散状态；再者，事物运动状态还可能是清晰的或者是模糊的，这样又可以分为明晰信息和模糊信息。

二、信息论的发展现状

以前只有状态要素得到了较为充分的利用，运动要素利用的很少。进入本世纪，对边信道攻防技术的大量研究，使信息的运动要素得到了密集的挖掘和利用。

三、信息论的研究内容

3.1通信系统的通用模型

其中：
⮚ 信源是消息的发生源，即信息的提供者。
⮚ 信源编码是为了提高通信的有效性而发展的技术，往往通过信息压缩来实现。
⮚ 加密部分的作用是在保密通信中保障通信内容不被授权者获知。
⮚ 信道编码的作用有二：①提高信源和信道的适配性和提高信息传输的可靠性。②多路通信还有信号调制部分，将多个信源发出的信号搬移到不同的频段或插入不同的时隙，达到在同一条通信线路上传输多路信号的目的，提高通信效率。
⮚ 信道是信息传输的通道。
⮚ 信道译码、解密和信源译码分别是信道编码、加密和信源编码的反过程，使信号恢复到原始状态，然后到达通信的目的地–信宿。
⮚ 信宿即信息的接收者。

3.2信息论的研究内容

信息论是一门应用概率论、随机过程、数理统计和代数的方法，来研究广义的信息传输、提取和处理系统中一般规律的工程学科。

关于研究内容一般有以下三种解释：
①信息论基础②一般信息论③广义信息论

⮚信息论基础（即shannon经典信息论）：研究信息测度，信道容量，信息率失真函数和香农三大定理以及信源和信道编码理论。
⮚一般信息论：研究信息传输和处理问题，除经典信息论外还包括噪声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论。
⮚广义信息论（即信息科学）：用信息论的基本概念研究经济现象和社会现象，将信息论的研究从自然科学领域移植到经济学和社会科学领域。

研究目的：是为了高效、可靠、安全并且随心所欲地交换和利用各种各样的信息。即提高信息系统的有效性、可靠性、安全性和经济性以便达到系统最优化。

⮚ 有效性：用尽可能短的时间和尽可能少的设备来传输一定信息量的消息。
⮚ 可靠性：要使信源发出的消息经过传输后，尽可能准确地、不失真地再现在接收端。
⮚ 安全性：避免网络木马病毒，黑客攻击等，保证信息的安全。

总结

以上就是第一章概论中的内容，主要偏向概念，需要多加记忆：）