A mathmatical theory of communication阅读笔记（1）

香浓的《A mathmatical theory of communication》奠定了香浓在信息科学的鼻祖地位，甚至从人类发展史上看，使得香浓成为并驾于牛顿的跨越式人物。以上是网络中对它这篇文章的评述。因此作为一个通信的学生，真的有必要仔细研究一下它的这篇文章，所以有了这个阅读笔记系列。

这个系列文章将以顺序阅读方式，总结阅读部分文章，或提出或解决的问题进行记录。

文章引言部分解决一下问题

1. 为什么要写这篇文章，这篇文章写了什么。
   香浓说，最近的关于PCM和PPM等通过带宽换取信噪比的调制技术的出现requres更加general的理论的出现，前人研究过一些相关的理论比如奈奎斯特和Hartley，他们的研究已经奠定了很好的基础（但是还是有所欠缺），他的文章补充几个方面，尤其是噪声对信道的影响，源消息的统计特性和受信者特性所引起的savings。

2. 通信研究的基本问题是什么。
   香浓说通信研究的基本问题是在一端（准确或近似）重现从另一端选择的消息。通信的语义层面和具体的工程问题是无关的，关键一点是从一个可能的集合中选择。

3. 什么是信息，以及信息是如何度量的。
   香浓并没有给出信息的定义，反而是通过说信息是如何度量的，从侧面去定义信息。他说可以通过消息源消息集合中的的个数或者其他和这个个数单调的函数来度量信息（这个信息是当从消息集合中选择一个消息的时候所产生的，并且假设每个选择是等可能的）。可见这里的信息非常抽象，相信香浓在文章后面会进一步完善这个概念。我的个人理解是信息是针对通信系统而言的，并且带有时间属性，是消息的一个属性，依存于消息，是受信者对消息所带来的确定性的衡量。文中香浓引用前人使用的对数来度量信息，并且阐述了相关的好处，并且提出对数的底数就是信息的单位这种很棒的论述。

4. 什么是通信系统，它由哪几部分组成，什么是消息。
   
   香浓说通信系统是像图1这样的系统。它由5个部分组成：
   
   • 信源。它是产生消息的。消息有各种各样的形式，（a）字母序列。比如电报，电传打字机。（b）时间函数$f(t)$。比如无线电和电话。（c）含有时间在内的多变量函数$f(x, y, t)$。比如黑白电视。（d）多个函数$f(t),g(t),h(t)$。比如三维立体声或者一个设计来多路服务的系统。（e）多个多变量函数$f(x,y,t),g(x,y,t),h(x,y,t)$。比如彩色电视机。（f）上述的组合，比如有声彩电。
   • 发送器。发送器负责将消息转变为能够在信道上传输的合适的信号。比如电话中的发送器负责将声压转变为电流。在电报中发送器负责将字母序列用点、破折号、空格进行编码。在多路PCM系统中，不同的语音信号要经过采样、压缩、量化编码然后正确的交错之后产生信号。
   • 信道。就是将信号从发送器发到接收器的媒介。可能是双绞线、同轴电缆、一束光或者一个无线电频带等等。
   • 接收器。它基本上是发送器的逆过程，负责从信号中重建出消息。
   • 受信者。它是消息要发送的目的地。
5. 怎样构建general的通信理论。
   香浓说要构建general的通信理论，首先要构建通信系统中各个elements的数学实体（entities），那么怎么构建这些数学实体呢？，香浓说只要对现实通信系统的elements适当的理想化即可。
6. 通信系统的分类。
   为了更好的讨论，香浓将通信系统分成三类，即连续、离散和混合。分类的标准是消息和信号的类型。离散系统就是消息和信号都是离散符号的序列，比如电报，消息是字母序列，信号是点、破折号和空格的序列。一个连续系统，消息和信号都是连续的，比如无线电和电视。混合系统，就是离散和连续变量都出现的系统，比如PCM语音传输。
7. 接下去讲什么。

以上就是文章引言部分的内容。香浓思路清晰，表述明确，逻辑连贯，信息量丰富。引言部分字字珠玑。