Deep Learning 读书笔记 第一章 引言（一）

张志华教授在序中说到“我们诚然可以从哲学层面或角度来欣赏科学与技术，但过度地从哲学层面来研究科学问题只会导致一些空洞的名词。”

——在前面对深度学习的学习中，从多层感知机到循环神经网络，在《python深度学习》的指导下，对深度学习有了整体上感性的认识，再加上对python应用于大数据预处理等库的了解，逐渐可以利用 keras 自主搭建神经网络，完成些简单的数据挖掘问题，然而，由于数学知识的匮乏，对深层次的原理知识的匮乏，加之 keras 对神经网络的内部运算封装得较为彻底，对深度学习的学习只停留在抽象感性的层面，为了更深入的学习，拟通过《Deep Learning》（花书）和 《Mathematics for Machine Learning》结合，丰富数学知识，对深度学习进行理性上的理解，并利用matlab和tensorflow实现，希望能有所收获。

Deep Learning 读书笔记 引言（一）

本书开头阐述了AI深度学习的概念，指出深度学习之所以“深”是因为这是一个由多层概念叠加，并根据层次化的概念理解世界，每个概念则通过与某些相对的概念之间的关系来定义。

人工智能的手段在一步一步更新改进：
在第一阶段，IBM利用手工设计好的程序，完全形式化的规则在1997年击败了世界冠军。人工智能面临关键挑战：如何将非形式化的知识传达给计算机。
在第二阶段，一些人工智能力求将关于世界的知识用形式化的语言进行硬编码，使计算机可用逻辑推理规则自动理解形式化语言的声明。Cyc的项目是由人将这些声明一条一条输入，设法设计出足够复杂的形式化规则来精确的描述世界，然而事实证明 Cyc 会产生一些不和逻辑的推理。硬编码体系会面临困难。
在第三阶段，引入机器学习：从原始数据中提取模式的能力。利用逻辑回归决定是否建议剖妇产，利用朴素贝叶斯对邮件分类，然而这些简单的机器学习算法的性能在很大程度上依赖于给定数据的表示

在整个计算机科学乃至日常生活中，对表示的依赖都是一种普遍现象。在计算机科学中，如果数据集合被精巧地结构化并被智能地索引，那么诸如搜索之类的操作的处理速度就可以成指数地加快。

文章给出了笛卡尔坐标与极坐标两种不同表示对用直线分类的影响。机器学习有个弊端，我们很难知道应该提取哪些特征，表示需要人为的输入、确定。
在第四阶段，解决上一问题的途径之一即使用机器学习来发掘表示本身，而不仅仅把表示映射到输出。这种方法我们称之为表示学习，其典型例子是自编码器，编码器构造函数映射f将输入数据转化为另一种不同的表示，解码器将另一种表示转回原来的形式，真正从自编码器提取的是函数映射f，编码器若能将输入信息原封不动地输出，说明在输入信息经过f映射后信息没有遗漏，f正是对输入信息的特征提取。然而，我们的目标是分离能解释观察数据的变差因素，变差因素指的是引起输出值发生变化的因素，然而多个变差因素会同时影响我们观察的数据，大多数应用需要我们理清变差因素并忽略我们不关心的因素。从原始数据中提取高层次抽象的特征时非常困难的。
在第五阶段，深度学习通过较简单的概念构建复杂的概念。深度学习简单的例子多层感知机，前馈神经网络，多层感知机是由多个简单的函数嵌套复合，我们可以认为不同数学函数的每一次应用都为输出提供不同新的表示。学习数据的正确表示的想法是解释深度学习的一个视角。另一个视角是深度促使计算机学习一个多步骤的计算机程序在每层表示里，不仅仅是差变因素，还可能是储存状态的信息，类似于传统计算机程序的计数器指针。
目前有两种度量模型深度的方式，一种方式是基于评估架构所需执行的顺序指令的数目。另一种方式是在深度概率模型中使用的方法，他不是将计算图的深度视为模型深度，而是将描述概念彼此如何关联的图的深度视为模型深度。