《控制论导论》读书：变异度-度量变异度

引言

一批事实/现象

• 先前谈论的是一个机器/系统，现在谈论的是一批机器/系统
• 科学研究给出的命题总是针对一批事实/现象的：可重复性是科学研究的重要特征
• 但对一批事实/现象的断言，对于构成这一批事实/现象的单个个体不见得适用
  • 统计学断言回归到个体，有可能毫无意义
  • 部分关于“构成比”的断言回归到个体，可以联系到“概率”的概念

所有可能的消息：囚犯探视问题

• 要求：探望囚犯时不允许带给他任何信息；但探望者可以给囚犯送一杯咖啡
• 但狱吏怀疑囚犯与探望者在先前就达成过关于传递暗号的约定
• 问题：狱吏怎么做才能避免探望者传递信息给囚犯？
• 可能的思路
  • 通过加糖多少来传递暗号——控制统一不许加糖，并且说这是“监狱的规定”
  • 通过是否在咖啡里放咖啡勺来传递暗号——控制统一放入“监狱统一的”咖啡勺
  • 通过左手还是右手拿杯子传递暗号——控制由狱吏送咖啡
  • …
  • 其他“减少可能发生的情形数量到1”的方式
• 所有方面的可能性都只有1的时候，通信就被阻塞了 e.g. 必须且只能送一杯“监狱定制的统一的”咖啡，并且由狱吏本人代为送达给囚犯
• 存在一个由所有可能事件构成的集合，对于信息的传输是至关重要的
• 一个消息本身蕴含的信息量，不仅仅由这个消息本身所决定，还取决于这个消息从何种所有可能的消息集合中提取出来

变异度

一般表示

• 考察一可能的消息集合，对特定观察者而言，其中含有的观察者能分辨出的相异元素个数称为该消息集合在该观察者条件下的变异度
• 一集合的变异度与观察者对相异元素的区分能力有关
  • 以各种颜色的旗帜传递信息，一色觉正常者观察到的变异度就大于一红绿色盲者观察到的变异度（比如其无法区分红色、绿色）
  • 以房屋中4扇窗户中夜晚亮灯的情况传递信息；居于近处的观察者能接收到24=16种变异度，居于远处的观察者由于无法分辨单独亮1个窗户时究竟是哪一个窗户亮了，因此只能接收到24−(4−1)=13种变异度

对数表示

• 将变异度取以2为底的对数，单位为比特(bit)，称为变异度的对数表示
• 对于分步发送消息的系统，对数表示的变异度允许各步变异度直接相加得到总变异度

约束

使集合变异度减小的条件，称为集合的约束。

矢量中的约束

• 考虑矢量 a ⃗ = ( a 1 , a 2 , . . . , a n ) \vec a=(a_1,a_2,...,a_n)