小白深度学习一：深度学习概念

一、深度学习名字由来

让计算机从经验中学习，并根据层次化的概念体系来理解世界，而每个概念则通过与某些相对简单的概念之间的关系来定义。层次化的概念让计算机构建较简单的概念来学习复杂概念。

如果绘制出表示这些概念如何建立在彼此之上的图，我们将得到一张“深（层次很多）”的图。基于这个原因，我们称这种方法为AI深度学习（deep learning）。

                          

 

 如上图深度学习模型所示，如果把这张以像素值集合的图像给计算机，计算机将难以理解原始感观输入数据的含义，因为将一组像素映射到对象标识的函数非常复杂。

深度学习将所需的复杂映射分解为一系列嵌套的简单映射来解决这个难题。

输入展示在可见层（visible layer），因为它包含我们能观察到的变量。然后是一系列从图像中提取越来越多抽象特征的隐藏层(hidden layer)，因为它们的值不在数据中给出。

给定像素，第1层可以轻易地通过比较相邻像素的亮度来识别边缘。

有了第1层隐藏层描述的边缘，第2层隐藏层可以容易地搜索可识别为角和轮廓的边集合。

给定第2隐藏层中关于角和轮廓的图像描述，第3隐藏层可以找到轮廓和角的特定集合来检测特定对象的整个部分。

最后，根据图像描述中包含的对象部分，可以识别图像中存在的对象。

二、深度学习概念

深度学习即通过其他较简单的表示来表述复杂表示。是一个促使计算机学习一个多步骤的计算机程序。

三、度量模型深度的方式

1、基于评估架构所需执行的顺序指令的数目

假设我们将模型表示为给定输入后，计算对应输出的流程图，则可以将这张流程图中的最长路径视为模型的深度。

使用不同语言编写的等价程序将具有不同的长度，相同的函数可以被绘制成具有不同深度的流程图，其深度取决于我们可以用来作为一个步骤的函数。

如上图所示，左边是将加法、乘法和逻辑回归（logistic sigmoid）作为 计算机语言的元素，那么这个模型深度为3；右边是将逻辑回归（logistic sigmoid）作为计算机语言的元素，那么这个模型深度为1。

2、基于深度概率模型

将描述概念彼此如何关联的图的深度视为模型深度。

在这种情况下，计算每个概念表示的计算流程图的深度可能比概念本身的图更深。