神经网络：全连接神经网络

1 简介

全连接神经网络 也称作多层感知机（MLP）

1.1 神经元

神经元接收输入向量$x$
神经元节点有权重向量w和偏置项b 输出值为$f(w^{T}x+b)$
在经过类似线性回归之后 使用激活函数对得到值进行操作

1.2 网络结构

• 输入层：[特征维度，n]
• 隐含层：权重矩阵 [输出维度，输入维度] 或者说[这层维度，上层维度]
• 输出层：[类别数，n]

个人对于每一层的理解就是 使用[这层维度，上层维度]的权重矩阵
将输入转化为其他维度 并且使用非线性的激活函数 得到输出

1.3 正向传播

确定网络结构之后
假设有m层网络 第 $l$ 层的权重矩阵 $W^l$ 偏置为 $b^l$
整个网络从输入到输出的流程为

• $x^1=x$
• 对于$l=2,3,...m$每一层
  $u^l=W^l{x}^{l-1}+b^l$（线性回归）
  $x^l=f(u^l)$（非线性激活函数）
• 得到$x^m$ 即为输出 可能是每个类别的概率组成的向量 也可能是回归值

1.4 反向传播

如何训练每一层的W和b 就需要反向传播算法
假设单个样本的损失函数是：