《信息简史》摘录

1. 编码：把一个东西映射到另一个东西上，好的映射应该保证信息不丢失。
2. 语言的“信息”不仅仅包含在每个字词上，还包括在音调上，还包括在句话，整篇文章，整个语言背景的综合里。
3. 语言上的冗余指的是“为了克服歧义和进行纠错而专门引入的额外的信息”，事实上每一种语言都包括冗余，这也就是为什么人们可以读懂错别字连篇的文章。但在通讯中，这种冗余明显会造成巨大的浪费。
4. 可用的符号（信息载体）越少，为表示出给定信息量所需的符号（信息载体）就越多。
5. 最难度量的是这些“中间符号层”，比如单个字母，和人类语言本身的关联。而正是这种带有意义的声音流、文字流才是通信的实质内容，任然这些声音或文字也是更底层知识或意义的一种编码。
6. 文字成为了我能获取知识的机制和组织思维的手段，我们希望通过历史和逻辑的方法来理解文字的起源，可以历史和逻辑本身就是文字的产物。
7. 任何一种口语的词汇仅包含数千个单词，但是书面语言的单词比如英语，已有超过100万个。
8. 范畴、分类，定义是书面文化的造物，他们也是人类整理信息、通过信息的共有属性简化信息的一种手段。
9. 当我们问道什么是“树”，我们问的只是这个符号的本身，而不是符号映射的东西。
10. 哲学家希望思考的是事物的本质，但他们思考的却只能是事物的符号。
11. 判定性问题问的就是，能否找出一个严格的、分步的算法，通过它给定一种演绎推理的形式语言，人们就可以自动化的进行证明。
12. 图灵证明命题不都是可判定的，一个不可计算数，对应的就是一个不可判定的命题。
13. 信息论中语言的冗余度D度量了某种文本在不损失任何信息的前提下可以缩减多少篇幅
14. 信息是不确定性&#