深度学习笔记（一）了解深度学习

深度学习关键词定义：
训练样本：机器通过“看/学习”未知系统的输入-输出对而达到的某种自适应理解，对于未知系统的输入-输出叫做训练样本。
泛化：机器通过对未知系统的训练样本进行学习后，得到的具有举一反三的能力叫做泛化。
损失函数：设训练样本为D={Z1,Z2,…,Zn}，其中Zi表示未知系统P（z）中采样得到的数据（每个数据都可以表示一个输入-输出对），规定惩罚函数为L(f,Z)，L的参数为机器学习到的规则f和独立于训练样本集的验证样本集Z，惩罚函数L的返回值为实数标量，称为惩罚值，又叫损失函数（Loss），损失函数是描述机器学习程度的函数，对于一个可靠机器，其损失函数应该是最小否则会让机器陷入一个无止境的重复计算过程。
机器学习算法：为使机器能够从数据D中学习游戏规则f并积攒经验，需要一个可靠算法，这个可以运行到机器中的算法称为机器学习算法。
训练好的模型：机器通过机器学习算法学习积攒经验后，能够自适应的处理未知新系统的输入输出，不断优化，达到最优时，称为训练好的模型。
机器学习的三个必要数据：（1）训练集，机器学习的样本。（2）验证集，机器学习阶段用于评估得分和损失，验证是否达到预期要求。（3）测试集，机器学习结束后，实战阶段评估得分。可以将机器学习理解为我们平时练题（训练集）模拟考试（样本集）最后高考（测试集）一样。
深度学习技术：ReLU、Dropout等技术。
传统机器学习在处理原始形态的自然数据方面有很大的局限性，多年来，构建模式识别或者是机器学习需要技艺较为高超的工程师和经验丰富的领域专家进行设计特征提取器，将原始数据（如图像的像素值）转化为合适的中间表示形式或特征向量，学习子系统（分类器）然后对输入数据进行检测或分类。
传统机器学习处理模式，为单一地对原始数据进行设定对应类别特征提取器，提取特征后通过设计分类器/检测器对所提取特征进行检测/分类，然后得出处理结果，例如图像处理中的单对杂草图像的颜色特征、纹理特征、长宽比特征、曲率特征、位置特征等处理。

深度学习的前身是表示学习，在表示系统中，直接以原始数据形式提供机器输入，自动发现用于检测和分类的表示。深度学习是一种多层表示学习方法，用简单的非线性模块构建而成，这些模块将上一层表示转化为更高层、更抽象的表示，当一个系统含有足够多的这样简单的的非线性模块构建时，就可以学习非常复杂的功能。
关于分类问题，高层表示能够强调更重要/中肯的信息，且同时能够抑制无关的背景信息。例如，一幅图像总是以像素值数组的形式提供网络输入，第一层学习到的特征为边缘信息，即图像的某个边缘是否存在特定朝向的边缘；第二层检测边缘信息按特定方式排列组成的基本图案，而不关心边缘位置的变化；第三层将第二层的基本图案组合起来，对应典型物体的部件，后续层检测由部件组成的物体。
深度学习只需要少量的人工介入，非常适合当前大规模计算系统和海量数据。当前正在开发的深度神经网络算法和架构将加快深度学习的进程。

深度学习之监督学习：深度学习不论深浅，最普遍的是监督学习。
假如我们需要设计可以分类图像（包含房子、车子、人、动物等）的系统，首先应先收集大量关于房子、车子、人、动物的图像数据集，每张图像都按照其类别进行打标签。
在训练阶段，向机器送入一张图像，产生一个得分向量，每个元素对应一个类别，我们希望真实类别在所有类别中得分最高，我们通过计算目标函数来计算输出得分与期望形式得分的差异（或距离），之后我们通过更改机器内部的可调参数来降低这个差异。可调参数为实数，可被称为权值，针对权值的人为更改而降低差异的系统便是监督学习。在很多监督学习中，人工特征上使用线性分类器，二分类线性分类器计算特征向量元素的加权和。如果加权和高于某个门槛，输入将被分类到一个特定的类别。
但是线性分类器具有非常明显的局限性，在处理数据时，线性（“浅层”）分类器表现的非常乏力，它只能简单的将数据二分化，并不能够适用于交叉特征，所以深度学习需要一个功能更加强大的分类器，能够自主学习、分类，这是深度学习优势的核心。
在应用机器学习算法到深度学习中时，通常采用梯度下降法对采用的算法进行训练，一般地，有批量梯度下降法（BGD）、随机梯度下降法（SGD）和小批量梯度下降法（MBGD），其中比较常用的是SGD，梯度下降的异同可参考https://www.cnblogs.com/maybe2030/p/5089753.html。