信息论pdf_吴军.信息论40讲学习笔记（pdf,mp3）

↑↑↑关注 码中人

回复 信息论

发刊词：信息时代每个人的必修课

• • 面对不确定性世界的方法论，利用信息消除不确定性(香农)

  • 信息时代的最大特征是不确定性

01：影响世界的三比特信息

• • 对一个未知系统所作出的估计和真实情况的偏离，构成信息损失，偏离越多损失越大

  • 信息量和不确定性有关，大家都知道的事，就没有信息量

  • 信息作用的大小和信息量有关

02：解开世界之谜的三篇诺贝尔论文

• • 信息是我们世界固有的属性

  • 世界上最关键的信息(知识)其实是非常简洁的，信息量与信息长度无关

03：大数据思维的科学基础

• • 发现未知规律：互信息理论

  • 动态调整做事策略：足够多的数据可以帮助我们动态匹配最佳结果

  • 精准服务：从重研究方法到重数据收集的转变

  • 解决人工智能问题：利用数据(信息)消除不确定性

04：信息度量，世界上有稳赚不赔的生意吗？

• • 信息量的大小不在于长短，而在于开创多少新知

  • 复杂交易背后通常都用到了信息的可度量性

  • 充满可能性的系统(信息源)，当中的不确定性(信息熵)，“信息”是用来消除这些不确定性的，需要的“信息量”就等于黑盒子里的“信息熵”

  • 信息可以衡量，但不是用重要性，而是用信息量，单位是“比特”(香农)

05：信息编码：数字和文字是如何诞生的？

• • 只要编码设计得足够巧妙，就可以找到最短编码(香农第一定律)

  • 由于它们是等价的，因此一个编码系统解决不了的问题，换一个系统同样解决不了

  • 各种编码系统，其实都是在编码复杂性和编码长度之间作平衡，它们在数学上是等价的

  • 数字和文字，都是人类用来消除信息不确定性的编码手段

06：有效编码：10个手指能表示多少个数字？

• • 如何组合信息，保证它高效传递，还不违背第一条原则，需要我们主动思考

  • 有效编码，就是让理论最佳值在应用中落地

  • 采用大量用户反馈信息决定产品的设计和技术方案

  • 信息编码的第二个基本原则——有效性

  • 清晰表达的五个原则——明确、诚实、勇气、责任和同理心

  • 信息编码的第一个基本原则——易辨识

07：最短编码：如何利用哈夫曼编码原理投资？

• • 风险投资的霍夫曼编码应用——分几部分逐步投入，每一次投资呈指数减少，而金额倍增，实现大部分资金集中到最优投资项目上

  • 一条信息编码的长度和出现概率的对数成正比

  • 针对信息组合的信息压缩，会产生更高压缩比

  • 哈夫曼