【无标题】

  多层感知机MLP --multi layer perceptron

 三层。两个权值矩阵。需要激活函数。

激活函数

 

 常用的激活函数

 

反向传播

损失函数开始从后向前，梯度逐步传递至第一层。用于权值更新，是网络输出更接近标签。反向传播原理

学习率==学习补偿

损失函数

 

损失函数：单样本

代价函数：总样本，样本总体

目标函数：减少cost+正则项控制模型参数简单。

 

 p真实，q模型

 

优化交叉熵等于优化相对熵

 

 权值初始化

 另外有MSRA方法2015kamming提出

正则化方法：