深度学习day1（第一章：什么是深度学习？）

1.1 人工智能，机器学习和深度学习

关系：

【1】人工智能

努力将通常由人类完成的智力任务自动化，包括了机器学习与深度学习

【2】机器学习

在经典的程序设计（即符号主义人工智能的范式）中，人们输入的是规则（即程序）和需要根据这些规则进行处理的数据，系统输出的是答案
利用机器学习，人们输入的是数据和从这些数据中预期得到的答案，系统输出的是规则。这些规则随后可应用于新的数据，并使计算机自主生成答案。

机器学习系统是训练出来的，而不是明确地用程序编写出来的。将与某个任务相关的许多
示例输入机器学习系统，它会在这些示例中找到统计结构，从而最终找到规则将任务自动化。

【3】从数据中学习表示

1.机器学习三要素

1. 输入数据点。
   你的任务是语音识别，那么这些数据点可能是记录人们说话的声音文件。如果你的任务是为图像添加标签，那么这些数据点可能是图像。
2. 预期输出的示例
   对于语音识别任务来说，这些示例可能是人们根据声音文件整理生成的文本。对于图像标记任务来说，预期输出可能是“狗”“猫”之类的标签。
3. 衡量算法效果好坏的方法。
   这一衡量方法是为了计算算法的当前输出与预期输出的差距。

2.例子

考虑 x 轴、y 轴和在这个 (x, y) 坐标系中由坐标表示的一些点，如图所示。可以看到，图中有一些白点和一些黑点。假设我们想要开发一个算法，输入一个点的坐标 (x, y)，就能够判断这个点是黑色还是白色。在这个例子中：

1. 输入是点的坐标
2. 预期输出是点的颜色；
3. 衡量算法效果好坏的一种方法是，正确分类的点所占的百分比。
   这里我们需要的是一种新的数据表示，可以明确区分白点与黑点。
   
   在这个新的坐标系中，点的坐标可以看作数据的一种新的表示。用一条简单的规则就可以描述黑 / 白分类问题：“x>0 的是黑点”或“x<0 的是白点”
   这个过程类似于深度学习

【4】深度学习之“深度”

理解深度学习与机器学习关系

深度学习是机器学习的一个分支领域：它是从数据中学习表示的一种新方法，强调从连续
的层（layer）中进行学习，这些层对应于越来越有意义的表示。“深度学习”中的“深度”指
的并不是利用这种方法所获取的更深层次的理解，而是指一系列连续的表示层。数据模型中
包含多少层，这被称为模型的深度（depth）。这一领域的其他名称包括分层表示学习（layered
representations learning）和层级表示学习（hierarchical representations learning）

神经网络

在深度学习中，这些分层表示几乎总是通过叫作神经网络（neural network）的模型来学习得到的。神经网络的结构是逐层堆叠。
【1】多层网络如何对数字图像进行变换

这个网络将数字图像转换成与原始图像差别越来越大的表示，而其中关于
最终结果的信息却越来越丰富。信息穿过连续的过
滤器，其纯度越来越高（即对任务的帮助越来越大）

【5】深度学习的工作原理

【1】总：
机器学习是将输入（比如图像）映射到目标（比如标签“猫”）
【2】
神经网络中每层对输入数据所做的具体操作保存在该层的权重（weight）中，其本质是一串数字。用术语来说，每层实现的变换由其权重来参数化。权重有时也被称为该层的参数（parameter）。一个深度神经网络可能包含数千万个参数
【3】流程图

想要控制神经网络的输出，就需要能够衡量该输出与预期值之间的距离。这是神经网络损失函数（loss function）的任务，该函数也叫目标函数（objective function）。损失函数的输入是网络预测值与真实目标值（即你希望网络输出的结果），然后计算一个距离值，衡量该网络在这个示例上的效果好坏。

深度学习的基本技巧是利用这个距离值作为反馈信号来对权重值进行微调，以降低当前示例对应的损失值。这种调节由优化器（optimizer）来完成，它实现了所谓的反向传播算法，这是深度学习的核心算法。