《控制论导论》读书：变异度-传输变异度

引言

• 研究一组可能事件是如何通过机器传输的；也即输入处一组可能事件与输出处一组可能事件之间的关系
• 只要机器是确定性的，这一传输过程就是严格可以分析、处理的

编码与译码

• 编码即变换
• 编码中的“关键语/密钥”即变换中的参数
• 解码即逆变换；仅一一变换才存在单值的逆变换
  • 从变异度的角度理解：一一变换不改变变异度，而单值变换可能减小变异度；要使得编码过程中不损失信息，必须在每一步都采用一一变换

示例：机器编码

• 设变换器M，能处于$S1,S2,...,Sn$中某个状态
• M具有参数$P1,P2,...,Pk$，每一个参数值能规定上述状态的一个变换
• 假设M能取状态A,B,C,D，具有参数Q,R,S，标准表达式如下
  
• 现设定M初始状态为B
• 给出一串外界的输入值作为参数，依次加载到M中：$RQRSSQRRQSR$
• 根据标准表达式，不难推出系统的迹线/输出为：$BCAABDBCBCCB$
• 可见，输出既取决于输入值，也取决于系统的初态（即从何处开始施行变换）

译码

• 译码要求单值逆变换存在，即要求编码过程为一一变换
• 无法译码的两种原因
  • 虽存在译码本，但限于目前条件，无法取得译码本——译不出来
  • 不存在单值的译码本——无法译码
• 设一部编码器有n个状态，其参数能取k个值
  ○ 若k>n，则无法保证其输出总能译回原码
• 译码器的大小大致应与编码器大小相符

变异度的传输

• 关于变异度概念的一些重申
  • 一条单独的信息不具有变异度，一批信息才具有变异度
  • 一台单独的机器不具有变异度，一批机器同一时刻的不同状态/一台机器不同时刻的不同状态才具有变异度
  • 变异度不是蕴含于个别事物中的性质

示例

• 考虑一批系统T与一批变换器U
  
• 设某一时刻，这一批系统处于nT个状态，这一批变换器处于nU个状态
• T就如同U的参数；T的一种状态对应于U的一个状态图，也即U具有nT个状态图
• 对于这一批U中的nU个状态，经历一步变换后，最多可分散到nTnU个状态中去
• 考察变异度
  • U变换前变异度$lo{g}_{2}n$
  • U变换后变异度$\le lo{g}_{2}nU+lo{g}_{2}nT$
• 也即：经历一步变换后，这一批变换器本身的变异度可能会增加，但增加的变异度不会超过施加于变换器上这一批系统本身的变异度
• 进一步可证明：经历多步变换后，这一批变换器本身的变异度可能会增加，但增加的变异度不会超过施加于变换器上这一批系统本身的变异度
  • 换言之，如果第一步变换中T就把自己所有的变异度传输给了U，那么接下来的变换里U的变异度不会进一步增加了

信道传输

• 讨论信息/变异度通过一个小的变换器进行传输
  • “小”——变换器可能具有的状态数小
• 考虑两个大变换器被一个小变换器连接起来
  
• 设R可能具有的状态数为r，并令$lo{g}_{2}r=\rho$
• 设初始状态Q,R,S变异度（对数表示）分别为N,0,0
• 第一步传输：R变异度最大可能增大到ρ，即N,ρ,0
• 第二步传输：N,ρ,ρ
• 第三步传输：N,ρ,2ρ
• …
• 第k步传输：N,ρ,(k−1)ρ
• 注意上述讨论的是最为理想的情形，也即变异度增加的最大值
• 不难看出
  • 若变换器/信道所能取的状态数为r，其每次能传输的变异度最大不能超过log2r
  • 信息通过一系列串联的变换器时，所具有可能状态数最少的变换器是限速步骤
  • 信道传输的变异度与信道能取的状态数及传输次数/时间成正比；也即只要时间足够长/次数足够多，任何信道都可以用来传输任意有限多的信息量

虽然我不能确切地知道在这些印第安人的烟雾信号中传达着怎样的信息，但我可以肯定，其中不包含任何哲学论点。阵阵烟雾还不能复杂到可以表达人们对于生存意义的看法，即使可以，他们中的哲学家可能没有等到形成任何新的理论就已经用尽了木头和毡子。你根本不可能用烟雾来表现哲学，它的形式已经排除了它的内容。——《娱乐至死》尼尔·波茨曼

不难看出，烟雾不过是一个窄窄的信道而已。理论上，只要点燃/熄灭的次术足够多，两个相隔万里的人是可以使用烟雾信号讨论哲学问题的。

信息传输的几个经典问题

称重问题

• 问题
  
• 注意此题不要求给出具体称重方法 （因此不是一个算法问题），只要求给出理论上最少的称重次数
• 27个硬币其中有1个假币，给每个硬币编号，则该系统变异度为$lo{g}_{2}27$
• 天平相当于信道，具有的状态数为{平衡，左边重，右边重}，故每次能传输的变异度为$lo{g}_{2}3$
• 最终必须知道假币到底是哪一个，也即确定假币的编号，则变异度为$lo{g}_{2}1$
• 称的次数=信息传输次数，故称的次数$N\ge \frac{lo{g}_{2}27-lo{g}_{2}1}{lo{g}_{2}3}$

延迟作用

• 继续考虑上面的系统
  
• 若观察者无法分辨Q,R并把它当做一个系统T （将信源、信道视为一体）
• 观察者会发现T→S的信息传输是缓慢进行的，而不是像最理想的情形那样一步就把变异度传输过去
• 这种**“信息传输的延迟作用”**表明
  • 所观察的系统T很可能内部是由一些子系统构成的，进而不能使T的所有状态都直接地对S施加影响

干扰

• 考察多个信息同时通过一个信道传输的问题
• 考虑信息$abcdefg$与信息$0010101$
• 通过两个不同的编码器加载到同一段信息上
  • 编码器A：原样加载英文字母
  • 编码器B：0——小写形式；1——大写形式
• 编码后结果：$abCdEfG$
• 显然存在一种方案，可建立一译码器，过滤出这两条信息，而不会相互影响

问题

• 某变换器有两个参数α,β，其中α可取值{a,A}，β可取值{b,B}
• 变换器具有4个状态W,X,Y,Z及如下标准表达式
  
• 设同时传输两个消息，一个是一串α值，另一个是一串β值
• 若接收者只需要α消息而不需要β消息，他是否总能把消息译出？