香农公式是香农老人家一辈子的巅峰之作。对香农公式的理解当然可以从不同的角度去理解。所谓万法归宗,不论从哪个角度去理解,到最后发现,其本质都是一样的,都揭示了信息传输极限能力。
学过通信的都知道香农公式的表达式,log2(1+s/n),单位是bit/s,就是说,告诉了我信号的信噪比,也就是信号和噪声的能量之比,如果功率均匀,也可以理解为信号功率和噪声强度的比。我们就可以估计此系统的最大传输速率。也就是说,每秒钟最大能够传输多少bit信息。 当然,90%的人只知道这些。为什么会是这样,为什么传输速率有一个上限,是什么东西在制约这个系统,这个制约可以打破吗。等等问题大多数人可能不知道。当然看香农的原始推到,就会被其复杂的公式难住。今天,我们从向量的角度,直白而又准确的解决上面的所有问题。在谈这个之前。先可以思考一下,宇宙到底是几维空间。
在向量中,有维度的概念,向量就是一个空间,超过3为的向量空间,人类就很难理解了。不知是那个大神竟然体会到了第四维,时间这个维度。还有没有更高的维度,我认为有,只是以目前人类的感知能力,无法感知到。
在纯数学的向量空间中,可以使多维的空间。可以用数学表达式来优雅的描述。言归正传,先谈谈信号的维度。任何一个时域的信号,我们定义他的维度为2WT。这样定义利用了Nyquist定律。任何一个带宽为W的信号,只要抽样频率大于等于2W,就可以完全的表示这个信号。当最小抽样速率选为2W时,对于时间为T的信号(这个T不一定是非无限大的。),可以用T/(1/2W)=2TW个离散的点,即原始信号的抽样来完备的表示