深度学习的四个部件

1.层

多层组合在一起形成了网络，网络的目的是将输入数据映射为预测值，通过损失函数将预测值和目标值比较，得出损失值，用来衡量网络的性能，而优化器的职责是迭代优化损失值来更新网络权重（BP算法）。

层的线性堆叠，将单一输入映射为单一输出，即数据从一端进，然后从另一端出。

其他的网络拓扑类型：

双分支网络

多头网络

Inception模块

网络的拓扑结构定义了一个假设的空间

人工神经网络的模型从其拓扑结构角度去看，可分为层次型和互连型。层次型模型是将神经网络分为输入层（Input Layer）、隐层（Hidden Layer）和输出层（Output Layer），各层顺序连接。其中，输入层神经元负责接收来自外界的输入信息，并将其传递给隐层神经元。隐层负责神经网络内部的信息处理、信息变换。通常会根据变换的需要，将隐层设计为一层或多层。

2.输入数据和标签

创建数据集，导入数据，设置一个或多个标签进行图片的分类和分割

3.损失函数

也叫目标函数，训练的目标就是最小化这个函数，同时损失函数也是当前训练任务是否完成的衡量标准

有多个输出的神经网络可能具有多个损失函数，即每个输出对应一个损失函数，但是梯度下降必须基于单个标量损失值

二分类问题：可以用二元交叉熵（binary crossentropy）损失函数
多分类问题：可以用分类交叉熵（categorical crossentropy）损失函数
回归问题：可以用均方误差（mean-squared error）
序列学习问题：可以用联结主义时序分类（CTC, connectionist temporall classification）损失函数

4.优化器

决定的是如何基于损失函数对网络进行更新，一般用随机梯度下降SGD或者某个变体

目前，最流行并且使用很高的优化器（算法）包括SGD、具有动量的SGD、RMSprop、具有动量的RMSProp、AdaDelta和Adam

深度学习的目标是通过不断改变网络参数，使得参数能够对输入做各种非线性变换拟合输出，本质上就是一个函数去寻找最优解