多层感知机MLP --multi layer perceptron
三层。两个权值矩阵。需要激活函数。
激活函数
常用的激活函数
反向传播
损失函数开始从后向前,梯度逐步传递至第一层。用于权值更新,是网络输出更接近标签。反向传播原理
学习率==学习补偿
损失函数
损失函数:单样本
代价函数:总样本,样本总体
目标函数:减少cost+正则项控制模型参数简单。
p真实,q模型
优化交叉熵等于优化相对熵
权值初始化
另外有MSRA方法2015kamming提出
正则化方法: