信息论
文章平均质量分 82
信息论相关的理论、技术、故事
minutiae
指纹识别算法工程师
展开
-
量化《水手》
这里使用郑智化《水手》中的一段音乐,对Lloyd标量量化方法和LBG矢量量化方法做对比。这段音乐还可以用作自我评估辨别音质的能力,从而决定购买耳机的档次。原始的音乐是WAV格式,时长9秒钟,单声道,采样率为44.1KHz,每个采样点的比特数为16。这里,矢量量化比标量量化的压缩比高,音质还好,是显而易见的。下面对比Lloyd标量量化和LBG矢量量化的效果差异。首先播放标量量化,然后播放矢量量化。为了便于对比,首先播放原始音频,然后从8比特降到1比特,依次播放,最后再次播放原始音频。原创 2024-04-07 11:47:03 · 182 阅读 · 0 评论 -
信息论基础:生日问题
在生物特征系统中,一个人被编码为其的生物特征,例如人像、指纹、虹膜。任意一对生物特征的错误匹配概率(FMR,False Match Rate),类似任意两个人的生日相同概率(1/A)。例如,印度曾经没有全民的身份证,有人根本没有身份,而有人有多重身份,这会带来很多社会问题。印度有14亿多人口,为了保证尽可能低的FMR(因此尽可能低的冲突概率),采集了每个人的人像、十指指纹和一对虹膜。如果有57人,概率>99%。如果要和人打赌一个班有没有相同生日的人,只要人数不少于23人,就可以赌有,获胜的概率超过一半。原创 2024-04-07 09:40:31 · 525 阅读 · 0 评论 -
信息论基础:串联信道
将一幅二值图像(一连串二进制的0和1),经过12个串联的BSC信道(𝑓=0.1)进行传输。如果把信号处理器看作是信道,对于输入信号做一连串的信号处理,就相当于经过了一连串的信道传输。上述不等式意味着,随着对于信号的处理越来越多,输出信号与输入信号之间的互信息越来越少,直至二者完全独立。这个串联信道相当于一个𝑓=0.5的BSC信道,而该信道的容量为0 bit,完全不能传递信息。上式的意义是,串联信道的容量不可能大于各组成信道的容量。实际中,随着越来越多的信道串联起来,整个信道的容量会趋于0。原创 2024-04-06 22:30:05 · 683 阅读 · 0 评论 -
猜数字游戏
清北的这些博士生毕业了,不从事科研工作,降维到中小学当老师,把研究生时候学到的知识改头换面,教给小学生。等这些小学生将来上了研究生,如果我还讲现在的内容,学生们就要旷课了,更要命的是会在学生评教系统中给我打低分。有一种声音是,国家为了培养这些博士生,提供了很好的资源和机会,他们本来应该做科学研究的,却去教中小学生,把学到的东西浪费了。德德看我愣住了,开始催我,快点,数字想好了没有。所以,我在给研究生上课前,提醒他们:学过不代表会做题,会做题不代表会用,会用也不代表真懂了。然后,我还是讲那些经典的内容。原创 2024-04-05 09:46:11 · 204 阅读 · 0 评论 -
动物造句子
有的孩子嗓门大,有的声音小,有的是沙哑的,有的说话很干脆,还有的嗯嗯啊啊吐字不清。小时候看西游记,如来佛把孙猴子压在五行山下,眼看猴子要钻出来了,写了一道“唵嘛呢叭咪吽”的符,贴在山上,猴子就动不了了。一共有50个词,一会每个孩子轮流上讲台,读一个词,我把声音录下来。我又点了一下,五个童声读:“看电视的时候,爸爸,在警察局里,小心翼翼地,吸血”。孩子们意犹未尽,几个孩子跑到讲台上,自己要点鼠标,点出来奇怪的句子,大家就一阵疯笑。我点了一下,五个童声读:“足球比赛后,小偷,在大树底下,痛痛快快地,掏耳朵”。原创 2024-04-05 09:01:31 · 449 阅读 · 0 评论 -
信息论基础:信道模型与信道容量
介绍常见的信道模型和信道容量原创 2023-03-18 20:17:33 · 1300 阅读 · 0 评论 -
信息论基础:图像压缩
各种图像传感器的空间和时间分辨率越来越高,而存储空间和通信带宽却很受限。图像压缩技术是解决这个矛盾的关键。原创 2023-03-14 22:37:37 · 1100 阅读 · 0 评论 -
信息论基础:量化
量化是将信号的连续值近似为有限多个离散值的过程原创 2023-03-14 16:08:56 · 1581 阅读 · 0 评论 -
信息论基础:字典编码
基于字典的压缩方法原创 2023-03-12 22:39:06 · 797 阅读 · 0 评论 -
信息论基础:算术编码
算术编码原创 2023-03-12 18:29:35 · 3199 阅读 · 0 评论 -
口述历史:Andrew Viterbi
IEEE对于维特比(高通公司联合创始人)的访谈翻译 2023-03-11 17:04:16 · 356 阅读 · 0 评论 -
香农的首届京都奖演讲:通信和计算的发展以及我的爱好
1985年香农获得首届京都奖(基础科学类),在题为“通信和计算的发展以及我的爱好”的获奖演说中,他对于通信和计算的发展以及他在其中的工作、以及自己的相关爱好,进行了很好的总结。还对于人工智能做了很好的评论和展望。翻译 2023-02-18 22:22:39 · 381 阅读 · 0 评论 -
霍夫曼自述:发明霍夫曼编码的过程
霍夫曼编码是最优的符号码。本文为发明者霍夫曼(David Huffman)的一篇短文,讲述了发明该编码的过程以及他的一些经历。翻译 2023-03-06 11:09:31 · 396 阅读 · 0 评论