Deep Learning

一、发展历程

Turing Testing（图灵测试）-->  医学发现  -->  Deep Leaning

①图灵测试：把一个人和一台计算机分别放在两个隔离的房间中，房间外的一个人同时询问人和计算机相同的问题，如果房间外的人无法分别哪个是人，哪个是计算机，说明计算机具有人工智能。

②医学：医学发现，人的视觉系统处理信息是分级的。从视网膜出发，经过低级的V1区提取边缘特征，到V2区的基本形状或目标的局部，再到高层的整个目标（例如判定为一张人脸），以及到更高层的PFC（前额叶皮层）进行分类判断等。也就是说高层的特征是低层特征的组合，从低层到高层的特征表达越来越抽象和概念化，也即越来越能表现语义或者意图。大脑是一个深度架构，认知过程也是深度的。

③深度学习：通过组合低层特征形成更加抽象的高层特征（或属性类别）。

二、机器学习

机器学习是实现人工智能的一种手段，也是目前被认为比较有效的实现人工智能的手段，目前在业界使用机器学习比较突出的领域很多，例如：计算机视觉、自然语言处理、推荐系统等等。大家生活中经常用到的比如高速上的ETC的车牌识别，今日头条的新闻推荐，天猫上的评价描述。

机器学习是人工智能的一个分支，而在很多时候，几乎成为人工智能的代名词。简单来说，机器学习就是通过算法，使得机器能从大量数据中学习规律，从而对新的样本做智能识别或预测。机器学习是仿照人的一套归纳演绎过程。

机器学习是在许多Function中寻找最优的Function 

机器学习构成的三要素：①假设空间：模型的架设和表示；②优化目标：评价或损失函数（Loss）

③寻解算法：优化/求解算法。

机器学习是通过人的经验来寻找Function，深度学习是通过神经网络来寻找Function！

2.1 人工智能VS机器学习

人工智能是计算机科学的一个分支，研究计算机中智能行为的仿真。

        人工智能：人类想要达成的目标

        机器学习：人工智能达成的一个手段

        深度学习：机器学习的一种方法

我们有四个不同层次的AI，让我们来解释前两个:

• 弱人工智能，也被称为狭义人工智能，是一种为特定的任务而设计和训练的人工智能系统。弱人工智能的形式之一是虚拟个人助理，比如苹果公司的Siri。
• 强人工智能，又称人工通用智能，是一种具有人类普遍认知能力的人工智能系统。当计算机遇到不熟悉的任务时，它具有足够的智能去寻找解决方案。

①机器学习是指计算机使用大数据集而不是硬编码规则来学习的能力。

②机器学习允许计算机自学习。这种学习方式利用了计算机的处理能力，可轻松处理大型数据集。

③基本上，机器学习是人工智能的一个子集;更为具体地说，它只是一种实现AI的技术，一种训练算法的模型，这种算法使得计算机能够学习如何做出决策。

④从某种意义上来说，机器学习程序根据计算机所接触的数据来进行自我调整。

2.2 监督式学习vs非监督式学习

监督式学习需要使用有输入和预期输出标记的数据集。

当使用监督式学习训练人工智能时，需要提供一个输入并告诉它预期的输出结果，如果人工智能产生的输出结果是错误的，它将重新调整自己的计算。这个过程将在数据集上不断迭代地完成，直到AI不再出错。

监督式学习的一个例子是天气预报人工智能。它学会利用历史数据来预测天气。训练数据包含输入(过去天气的压力、湿度、风速)和输出(过去天气的温度)。

我们还可以想象您正在提供一个带有标记数据的计算机程序。例如，如果指定的任务是使用一种图像分类算法对男孩和女孩的图像进行分类，那么男孩的图像需要带有“男孩”标签，女孩的图像需要带有“女孩”标签。这些数据被认为是一个“训练”数据集，直到程序能够以可接受的速率成功地对图像进行分类，以上的标签才会失去作用。

它之所以被称为监督式学习，是因为算法从训练数据集学习的过程就像是一位老师正在监督学习。在我们预先知道正确的分类答案的情况下，算法对训练数据不断进行迭代预测，然后预测结果由“老师”进行不断修正。当算法达到可接受的性能水平时，学习过程才会停止。

非监督式学习是利用既不分类也不标记的信息进行机器学习，并允许算法在没有指导的情况下对这些信息进行操作。

当你使用非监督式学习训练人工智能时，你可以让人工智能对数据进行逻辑分类。这里机器的任务是根据相似性、模式和差异性对未排序的信息进行分组，而不需要事先对数据进行处理。

非监督式学习的一个例子是亚马逊等电子商务网站的行为预测AI。

它将创建自己输入数据的分类，帮助亚马逊识别哪种用户最有可能购买不同的产品(交叉销售策略)。 另一个例子是，程序可以任意地使用以下两种算法中的一种来完成男孩女孩的图像分类任务。一种算法被称为“聚类”，它根据诸如头发长度、下巴大小、眼睛位置等特征将相似的对象分到同一个组。另一种算法被称为“相关”，它根据自己发现的相似性创建if/then规则。换句话说，它确定了图像之间的公共模式，并相应地对它们进行分类。

三、深度学习如何工作

什么是深度学习，以及它是如何工作的。

深度学习是一种机器学习方法 ， 它允许我们训练人工智能来预测输出，给定一组输入(指传入或传出计算机的信息)。监督学习和非监督学习都可以用来训练人工智能。

我们将通过建立一个公交票价估算在线服务来了解深度学习是如何工作的。为了训练它，我们将使用监督学习方法。

我们希望我们的巴士票价估价师使用以下信息/输入来预测价格:

3.0 神经元

神经元：神经网络中的每个节点称为神经元，由加权和、激活函数（非线性变化）组成。

所谓的深度学习，学习的是什么？——W权重

 

3.1 神经网络

神经网络：大量的神经元按照不同的层次排布，形成多层的结构连接起来，称为神经网络。

神经网络是一组粗略模仿人类大脑，用于模式识别的算法。神经网络系统是用于模拟生物大脑自身神经网络的基本结构，以便计算机能够执行特定的任务。

和人类一样， “AI价格评估”也是由神经元(圆圈)组成的。此外，这些神经元还是相互连接的。

神经元分为三种不同类型的层次：

• 输入层接收输入数据。在我们的例子中，输入层有四个神经元:出发站、目的地站、出发日期和巴士公司。输入层会将输入数据传递给第一个隐藏层。

• 隐藏层对输入数据进行数学计算。创建神经网络的挑战之一是决定隐藏层的数量，以及每一层中的神经元的数量。

• 人工神经网络的输出层是神经元的最后一层，主要作用是为此程序产生给定的输出，在本例中输出结果是预测的价格值。

神经元之间的每个连接都有一个权重，这个权重表示输入值的重要性。模型所做的就是学习每个元素对价格的贡献有多少。这些“贡献”是模型中的权重。一个特征的权重越高，说明该特征比其他特征更为重要。

在预测公交票价时，出发日期是影响最终票价的最为重要的因素之一。因此，出发日期的神经元连接具有较大的“权重”。

每个神经元都有一个激活函数。它主要是一个根据输入传递输出的函数。 当一组输入数据通过神经网络中的所有层时，最终通过输出层返回输出数据。

3.2 通过训练改进神经网络

为提高“AI价格评估”的精度，我们需要将其预测结果与过去的结果进行比较，为此，需要两个要素:

• 大量的计算能力；
• 大量的数据。

训练AI的过程中，重要的是给它的输入数据集(一个数据集是一个单独地或组合地或作为一个整体被访问的数据集合)，此外还需要对其输出结果与数据集中的输出结果进行对比。因为AI模型一直是“新的”，它的输出结果有可能是错误的。

对于我们的公交票价模型，我们必须找到过去票价的历史数据。由于有大量“公交车站”和“出发日期”的可能组合，因而我们需要一个非常大的票价清单。

一旦我们遍历了整个数据集，就有可能创建一个函数来衡量AI输出与实际输出(历史数据)之间的差异。这个函数叫做成本函数。即成本函数是一个衡量模型准确率的指标，衡量依据为此模型估计X与Y间关系的能力。

模型训练的目标是使成本函数等于0，即当AI的输出结果与数据集的输出结果一致。

3.3 我们如何降低成本函数呢?

通过使用一种叫做梯度下降的方法。梯度衡量的是，如果你稍微改变一下输入值，函数的输出值会发生多大的变化。

梯度下降法是一种求函数最小值的方法。在这种情况下，目标是取得成本函数的最小值。 它通过每次数据集迭代之后优化模型的权重来训练模型。通过计算某一权重集下代价函数的梯度，可以看出最小值的梯度方向。

为了降低成本函数值，多次遍历数据集非常重要。这就是为什么需要大量计算能力的原因。 一旦我们通过训练改进了AI，我们就可以利用它根据上述四个要素来预测未来的价格。

四、深度学习必备数学知识飞桨AI Studio - 人工智能学习与实训社区集开放数据、开源算法、免费算力三位一体，为开发者提供高效学习和开发环境、高价值高奖金竞赛项目，支撑高校老师轻松实现AI教学，并助力开发者学习交流，加速落地AI业务场景https://aistudio.baidu.com/aistudio/projectdetail/3350284

五、深度学习自学习

1. 深度学习常用的技术和工具：

•         编程语言：Python
•         深度学习框架：PaddlePaddle
•         其他Python包：Numpy、Pillow
•         深度学习算法：Linear、LeNet、ResNet、LSTM、Seq2Seq等等

2. 深度学习万能公式：

• 训练过程中，寻找最优学习率，（开始时，步子迈大一点，快到谷底时候，步子迈小一点） 
• 万能公式如下