神经网络之训练流程

首先

如果神经网络的输入经过神经网络结果输出的不是Desired，而是那么就得调整网络权重W使得尽可能正确输出（通过调神经元的参数，是网络对给定输入可产生期望输出）

监督学习

对于一个图像来说就是先对图像进行预处理，包括训练数据和测试数据，通过训练的数据来调节参数，测试数据来进行测试效果，最后新数据与之前都不一样的数据。

前馈运算和反向传播

损失函数（LOSS Function）

用来度量实际输出和期望输出之间的不一致程度，知道网络的学习和表示学习。

• 针对不同的问题，有不同的损失函数：
  回归问题（连续型）：平方损失等。
  分类问题（离散型）：对数损失函数、交叉熵损失函数
• 交叉熵损失（Cross-Entropy Loss；Log Loss）
  熵：用于度量变量的不确定性程度（熵越大不确定性越大）
  
  交叉熵主要用于度量两个概率分布建的差异性信息