神经网络结构拆分理解

训练神经网络主要围绕一下四个方面：

1）层，多个层组合成网络（或模型）。

2）输入数据和相应的目标。

3）损失函数，即用于学习的反馈信号。

4）优化器，决定学习过程如何进行。

将上述四者的关系可视化为：

多个层链接在一起组成了网络，将输入数据映射为预测值。然后损失函数将这些预测值与目标进行对比，得到损失值，用于衡量网络预测值和预测期望结果的匹配程度。优化器使用这个损失值来更新网络的权重。

一、层

神经网络基本数据结构是层。层是一个数据处理模块，将一个或多个输入张量转换成一个或多个输出张量。有些层是无状态，但大多数层是有状态的，即层的权重。权重是利用随机梯度下降学到的一个或多个张量，其中包括网络的知识。

不同的张量（张量tensor）格式与不同的数据处理类型需要用到不同的层。例如，向量数据保存在形状为（samples，features）的2D张量中，通常用密集连接层也叫全连接层或密集层来处理。