对深度学习的认识

1、为什么叫做深度学习？
计算机无法理解复杂概念，我们通过简单概念的层层叠加来使得计算机可以更好地理解复杂的概念。
如别人说的话或者图像中的脸，人类可以凭直觉轻易解决，而计算机就不可以做到这些很难去形式描述的问题。我们可以让计算机从经验中学习，根据层次化的概念让计算机构建简单的概念去学习
复杂的概念，避免了人类来给计算机形式化的指定它需要的所有知识。如果绘制出这些概念如何建
立的图，我们会得到一张“深”（层次很多）的图，所以称其为深度学习。

2、人工智能的任务
其实对于抽象和形式化的任务对人类来说是最困难的脑力劳动之一，但是对于计算机来说很是轻松，比如说国际象棋，但是计算机对主观知识的认知很难通过形式化的方法表达清楚。如果计算机想要表现的很智能就必须要获取这些知识，所以人工智能的关键挑战就是如何将非形式化的知识传给计算机。

3、机器学习的出现
开始的时候人工智能项目试图将关于世界的知识用形式化语言来进行编码，即人工智能的知识库方法。最著名的项目就是用一个推断引擎和一个使用Cycl语言描述的声明数据库，这是由人类来输入的。人们试图设计出足够复杂的形式化规则来精确地描述世界。这种方法是不可行的，所以AI系统需要具备自己获取知识的能力，即从原始数据中提取模式的能力。这种能力称为机器学习。引入机器学习使计算机能解决涉及现实世界知识的问题，并能做出看似主观的决策。如，逻辑回归的简单机器学习算法可以决定是否剖腹产，而朴素贝叶斯算法可以区分垃圾电子邮件和合法的电子邮件。
但是这种简单的机器学习算法的性能在很大程度上依赖于给定数据的表示。如，逻辑回归来判断产妇是否适合剖腹产，AI系统不会直接检查患者。相反，医生需要告诉系统相关的信息，表示患者的每条信息称为一个特征。而逻辑回归学习病人的这些特征如何与各种结果相关联。但是你如果将核磁共振结果作为逻辑回归的输入，它无法做出相应的预测。

通常的学习方法以及一些问题
由于数据表示的重要性，在计算机科学中，如果数据集合被精巧地结构化并被智能的索引，那么操作的处理速度就会呈指数级的加快。人们可以很容易在阿拉伯数字下运算，但是罗马数字下就会慢一些。如 笛卡尔坐标与极坐标下用一条线分割两种数据。
许多人工智能任务都可以通过以下方式解决：先提取一个合适的特征集，然后将这些特征提供给机器学习算法。如：通过声音鉴别说话者来说，有用的特征是对其声道大小的估计。
然而对于许多任务来说，我们很难知道应该提取哪些特征：如我们想要编写一个程序来检测图片中的车。可能我们会以车轮的存在与否来判断这是否是车，然而我们难以在准确的根据像素值来描述车轮看上去像什么，虽然车轮具有简单的几何形状，但是它的图像可能会因场景而异，如落在车轮上的阴影等。
如何解决这个问题呢？ 途径之一是使用机器学习来发掘表示本身，而不仅仅是将表示映射到输出，这种方法被称为表示学习。学习到的往往比手动设计的表示表现的更好，且他们只需要最少的人工干预，就可以让AI系统迅速适应新的任务。表示学习算法只需要几分钟就可以为简单的任务发现一个很好的特征集。对复杂的任务需要几小时或者几个月，远低于人工干预。

表示学习算法
表示学习算法的典型例子是自编码器（autoencoder），自编码器由一个编码器函数和一个解码器函数组合而成。编码器函数将输入数据转换为一种不同的表示，而解码器函数则将这个新的表示转换为原来的形式。我们期望当数据经过编码器和解码器后尽可能多的保留信息，同时希望新的表示有各种好的特性，这也是自编码器的训练目标。为实现不同的特性，我们可以设计不同形式的自编码器。
但是表示算法依然存在问题。
当设计特征以及用于学习特征的算法的时候，我们的目标通常是分理处能解释观察数据的变差因素，它们可以被看成数据的概念或者抽象，如语音记录里，变差因素包括说话者的年龄、性别、它们的口音等。在许多的现实的人工智能应用中，困难主要源于多个变差因素同时影响我们能够观测的每一个数据。显然从原始数据中提取如此高层次、抽象的特征是很困难的。表示学习也不能有效的帮助我们分别出这些。
深度学习可以有效地帮我们解决这问题，即通过较简单的表示来表达复杂表示。典型例子是前馈深度网络或者多层感知机。多层感知机仅仅是一个将一组输入值映射到输出值的数学函数，该函数由许多较简单的函数复合而成。我们可以认为不同数学函数的每一次应用都为输入提供了新的表示。
另外的一种视角是深度促使计算机学习一个多步骤的计算机程序，每一层表示都可以被认为是并行执行另一组指令之后计算机的存储器状态。在某层激活函数里，并非所有信息都蕴含着解释输入的变差因素，还存储着状态信息。
输入展现在可见层，然后是一系列从图像中提取越来越多抽象特征的隐藏层。模型必须确定哪些概念有助于解释观察数据中的关系。这里的图像是每个隐藏单元表示的特征可视化。
目前主要有两种度量模型的方式：一是基于评估架构所需执行的顺序指令的数目。二是在深度概率模型中使用的方法，他不是将计算机图的深度视为模型深度，而是描述概念彼此间如何关联的图视为模型深度，所以架构的深度也不存在单一的正确值。