深度学习 NNDL理论课第一章：绪论

NNDL理论课第一章：绪论

记录nndl蒲公英书学习重点

了解人工智能的意义和发展过程

人工智能的意义：

人工智能（Artificial Intelligence，AI）就是让机器具有人类的智能

图灵测试：“一个人在不接触对方的情况下，通过一种特殊的方式和对方进行一系列的问答．如果在相当长时间内，他无法根据这些问题判断对方是人还是计算机，那么就可以认为这个计算机是智能的”．

1956 年的达特茅斯（Dartmouth）会议．John McCarthy ：人工智能就是要让机器的行为看起来就像是人所表现出的智能行为一样

人工智能的发展过程：

推理期：基于逻辑或者事实归纳出来一些规则，然后通过编写程序来让计算机完成一个任务

知识期：研究者意识到知识对于人工智能系统的重要性，特别是对于一些复杂的任务，需要专家来构建知识库．在这一时期，出现了各种各样的专家系统（Expert System），．专家系统可以简单理解为“知识库+ 推理机”，是一类具有专门知识和经验的计算机智能程序系统．

学习期：对于人类的很多智能行为（比如语言理解、图像理解等），我们很难知道其中的原理，也无法描述这些智能行为背后的“知识”．为了解决这类问题，研究者开始将研究重点转向让计算机从数据中自己学习．事实上，“学习”本身也是一种智能行为．

熟悉不同特征表示形式的区别以及优缺点

局部表示和分布式表示

以颜色表示为例，我们可以用很多词来形容不同的颜色1，除了基本的“红”“蓝”“绿”“白”“黑”等之外，还有很多以地区或物品命名的，比如“中国红”“天蓝色”“咖啡色”“琥珀色”等．如果要在计算机中表示颜色，一般有两种表示方法．一种表示颜色的方法是以不同名字来命名不同的颜色，这种表示方式叫作局部表示，也称为离散表示或符号表示．局部表示通常可以表示为one-hot 向量的形式．设所有颜色的名字构成一个词表𝒱，词表大小为|𝒱|．我们可以用 第A.1.4节．一个|𝒱| 维的one-hot 向量来表示每一种颜色．在第𝑖 种颜色对应的one-hot 向量中，第𝑖 维的值为1，其他都为0．

局部表示有两个优点：1）这种离散的表示方式具有很好的解释性，有利于人工归纳和总结特征，并通过特征组合进行高效的特征工程；2）通过多种特征组合得到的表示向量通常是稀疏的二值向量，当用于线性模型时计算效率非常
高．但局部表示有两个不足之处：1）one-hot 向量的维数很高，且不能扩展．如果有一种新的颜色，我们就需要增加一维来表示；2）不同颜色之间的相似度都为0，即我们无法知道“红色”和“中国红”的相似度要高于“红色”和“黑色”的相
似度．另一种表示颜色的方法是用RGB 值来表示颜色，不同颜色对应到R、G、B 三维空间中一个点，这种表示方式叫作分布式表示． 将分布式表示叫作分散式表示可能更容易理解，即一种颜色的语义分散到语义空间中的不同基向量上．分布式表示通常可以表示为低维的稠密向量．

局部表示相比，分布式表示的表示能力要强很多，分布式表示的向量维度一般都比较低．我们只需要用一个三维的稠密向量就可以表示所有颜色．并且，分布式表示也很容易表示新的颜色名．此外，不同颜色之间的相似度也很容易
计算．

了解神经网络的主要类型、基本结构以及在数学层面的表达

神经网络的主要类型

基本结构：若干神经元及神经元与神经元之间的连接