全连接神经网络分类器（上）

图像表示

直接使用原始像素作为特征，展开为列向量
一般分类器均使用此类表示

1. 多层感知器

线性分类器

全连接神经网络：全连接神经网络级联多个变化来实现输入到输出的映射。

全连接神经网络的权值

全连接神经网络与线性不可分：
线性可分：

线性不可分：

全连接神经网络绘制与命名

N层全连接神经网络–除输入层之外的其他层的数量为N的网络。
N个隐层的全连接神经网络—网络隐层的数量为N的网络。

2. 激活函数

为什么需要非线性操作？
如果网络中缺少了激活函数，全连接神经网络将变成一个线性分类器。

常用的激活函数：

网络结构设计

1. 用不用隐层，用一个还是多个隐层？（深度设计）
2. 每一个而隐层设计几个神经元比较合适？（宽度设计）
   没有统一答案。

神经元个数越多，分界面就越复杂，在这个集合上的分类能力就越强。

跟据分类任务的难易程度来调整神经网络模型的复杂程度。分类任务越难，我们设计的神经网络结构就应该越深，越宽。但是，需要注意的是对训练集的分类精度最高的全连接神经网络连接模型。在真实场景下识别性能未必是最好的。（过拟合）

小结

• 全连接神经网络组成：一个输入层，一个输出层及多个隐层。
• 输入层与输出层的神经元个数由任务决定，而隐层数量及每个隐层中神经元的数量则需要人为指定。
• 激活函数是全连接神经网络中的一个重要部分，缺少了激活函数，全连接神经网络将退化为线性分类器。

3. SOFTMAX与交叉熵

相对熵也叫KL散度；用来度量两个分布之间的不相似性。

交叉熵特殊形式

交叉熵损失，

4. 对比交叉熵损失与支撑向量机损失

相同分数下两类分类器的损失有什么区别？
21777777

5. 计算图与反向传播

什么是计算图？
计算图是一种有向图，他用来表达输入，输出以及中间变量之间的计算关系，图中的每个节点对应着一种数学运算。

计算图总结：

1. 任意复杂的函数，都可以用计算图的形式表示
2. 在整个计算图中，每个门单元都会得到一些输入，然后进行下面两个计算：
   a. 这个门的输出值
   b. 其输出值关于输入值的局部梯度。
3. 利用链式法则，门单元应该将回传的梯度乘以它对其的输入的局部梯度，从而得到整个网络的输出对该门单元的每个输入值的梯度。

计算图的颗粒度：将几个单元操作合并为一个计算模块。

计算图中常见的门单元：