information theory
deepsnow12345
这个作者很懒,什么都没留下…
展开
-
chap4 origin of markov chain
讲述了Markov chain的发明过程(研究生第一课><)从中心极限定理和大数定理讲起的,伯努利发现二项分布,发现在独立实验中,某次实验结果出现的次数服从正态分布。类似最终的事件发生的概率其实事前已经注定,比如有放回抽样一堆黑白棋子(数量1:2),那么最终抽到的黑白棋子的个数比会收敛于1:2。但是Nekrasov声明,最终结果收敛于固定的比例仅限于独立分布事件,而现实生活中的大部...原创 2020-03-25 17:53:39 · 121 阅读 · 0 评论 -
chap3 measuring information
H为information value,N为要发送的字符个数,S为字符的space即集合范围,i为底层发送的signal个数。情景模拟:Alice和Bob他们的系统发展的很好,然后他们就想要盈利,然后就卖出了自己的系统。即他人可以借助他们的系统传递信息。他们根据他人传递的信息的多少来收费。那么H就是他们的收费多少。目前他们的系统底层传输仍然是pluck,分强弱,那么一共就只有两种状态,即i...翻译 2020-03-24 18:21:26 · 140 阅读 · 0 评论 -
chap2 introduction to channel capacity
channel capacity为每秒钟可以传递的信息的容量大小。简单而言,即channel capacity = symbol rate(baud) * symbol space。symbol rate即上一章提到的每秒钟可以传递的有效信号的个数,symbol space 则是信号可以取值的集合个数。情景模拟:仍然拿刚才的Alice和Bob举例,他们在玩通话游戏,用hard和soft plu...翻译 2020-03-24 12:12:33 · 246 阅读 · 0 评论 -
chap1 symbol rate
symbol rate指的是每秒钟产生的有信号的活动个数。 the no. of signaling events which can be squeezed togethoer in one second.情景模拟:两个小伙伴Alice和Bob玩通话游戏,首先他们会发送字母,比如hello,字母一共有26个,这些字母被称作symbol。通话游戏中,他们用电话线联系,电话线只有两个信号(称为s...翻译 2020-03-24 11:48:06 · 522 阅读 · 0 评论