对《神经网络与深度学习》（邱锡鹏 ）的知识梳理（一）

写在前面

四月初，《神经网络与深度学习》又重新发布了，相信有不少人注意到这本书，它由复旦大学教授邱锡鹏所著。在今年最新的版本中，它又融合了最新最热的知识点。阅读这本书，一方面是为了巩固已有的基础知识，另一方面，也是查漏补缺，发现自己还不曾了解的知识领域。但单纯地读完一本书会存在遗忘的问题，因此我将在阅读过程中提炼一些关键词或关键句，必要的话会提供个人小小的总结。整个系列博客的知识梳理顺序都是按照书中的章节顺序，对于一些我个人认为值得记忆的点，我会适当进行发散学习或在后续做一些补充、解释工作（例如，另写一篇博客）。该书总共分为三个部分，其中第一部分主要是基础知识的介绍，有一些基本概念和定义；第二部分主要介绍深度学习中的神经网络模型；而第三部分则是深度学习的其他方法介绍。

第一章 绪论

1. 机器学习，深度学习，神经网络
   简单说说三者的关系。实际上，深度学习是机器学习的一个子问题，其主要目的是从数据中自动学习到有效的特征表示。神经网络仅仅是深度学习领域中的一类数学模型，其他的模型还包括概率图模型等。
2. 贡献度分配问题（Credit Assignment Problem，CAP） [Minsky, 1963]
   这是深度学习中的一个重要问题，即一个系统中不同的组件（Components）或其参数对最终系统输出结果的贡献或影响。它关系到对参数的学习。目前在深度学习中，神经网络能较好的解决这个问题。这也是神经网络模型更流行的原因之一。

1.1 人工智能

1. 图灵测试
   “一个人在 不接触对方的情况下，通过一种特殊的方式，和对方进行一系列的问答。如果 在相当长时间内，他无法根据这些问题判断对方是人还是计算机，那么就可以 认为这个计算机是智能的。”—