7-深度学习简介

深度学习三步骤

普遍性定理

• 对于任何一个连续的函数，都可以用足够多的隐藏层来表示

神经网络

完全连接前馈神经网络

• 输入层（Input Layer）：1层
• 隐藏层（Hidden Layer）：N层
• 输出层（Output Layer）：1层

全链接

• 因为layer1与layer2之间两两都有连接，所以叫做Fully Connect；

前馈

• 前馈（feedforward）也可以称为前向，从信号流向来理解就是输入信号进入网络后，信号流动是单向的，即信号从前一层流向后一层，一直到输出层，其中任意两层之间的连接并没有反馈（feedback），亦即信号没有从后一层又返回到前一层。

深度

• Deep = Many hidden layer

本质理解

• 通过隐藏层进行特征转换
• 把隐藏层通过特征提取来替代原来的特征工程，这样在最后一个隐藏层输出的就是一组新的特征（相当于黑箱操作）而对于输出层，其实是把前面的隐藏层的输出当做输入（经过特征提取得到的一组最好的特征）然后通过一个多分类器（可以是softmax函数）得到最后的输出y。

计算过程相当于一连串的矩阵运算，可以使用GPU进行加速

手写数字识别例子

• 输入：一个16*16=256维的向量，每个pixel对应一个dimension，有颜色用（ink）用1表示，没有颜色（no ink）用0表示.
• 输出：10个维度，每个维度代表一个数字的置信度。
• 结果判定：从输出结果来看，每一个维度对应输出一个数字，是数字2的概率为0.7的概率最大。说明这张图片是2的可能性就是最大的
• 在这个问题中，唯一需要的就是一个函数，输入是256维的向量，输出是10维的向量，我们所需要求的函数就是神经网络这个函数

模型评估

损失函数

• 采用交叉熵进行评估，越小越好
• 对于损失，我们不单单要计算一笔数据的，而是要计算整体所有训练数据的损失，然后把所有的训练数据的损失都加起来，得到一个总体损失L。接下来就是在function set里面找到一组函数能最小化这个总体损失L，或者是找一组神经网络的参数$\theta$，来最小化总体损失L
• 

选择最优函数

使用梯度下降

使用反向传播计算损失