神经网络前向传播推导

神经网络机构如图：

x为N*m的矩阵，N为样本的个数（即Batch Size，每次送给神经网络的样本个数），m为特征维度。

第一层：
设$w_1$为$m\times m_1$的矩阵，则：

$h_1=x_{Nm}{w}_{1,m{m}_1}=h_{1,N{m}_1}$

乘法后，样本个数没变，单数维度成$w_1$的维度
再给每个维度加上偏置项：$b_1\in R^{m_1}$
设$b_1=\left[\begin{array}{ccc}1& 2& 3\end{array}\right]$
则最后把$b_1$扩展为：$\left[\begin{array}{ccc}1& 2& 3\\ 1& 2& 3\\ \cdots & \cdots & \cdots \end{array}\right]$，即每一个样本的每一维特征都要加上偏置项，进入下一层，公式：

$h_1=x{w}_1+{\tilde{b}}_1$，${\tilde{b}}_1$为$b_1^T$后沿行方向拓展到N行（样本数）。

$Z_1=f_1(h_1)$，此处从$h_1$到$Z_1$并非矩阵变换，函数f作用于矩阵的每一个元素，所以$Z_1$和$h_1$结构一致，为$N\times m_1$。

第二层：
$h_2=x{w}_2+{\tilde{b}}_2$，$Z_1=f_2(h_1)$

直到第L层：
$h_L=x{w}_L+{\tilde{b}}_L$，$Z_L=f_L(h_L)$

最后一层输出OUT：
$OUT=Z_L{w}_{L+1}+{\tilde{b}}_{L+1}$

$w_{L+1}$矩阵大小$N\times n$，$n$为所期望输出的特征维度的大小。

总结：
以上从x到OUT的部分，不管是分类问题（损失函数一般为Cross Entropy）还是回归问题（损失函数一般为MSE）都要用到的。区别在于，上述过程是回归的过程，而分类问题还要在OUT后面接softmax。对损失函数的求导过程，其实是对$OUT=Z_L{w}_{L+1}+{\tilde{b}}_{L+1}$的结果求导，

求导过程：
$\frac{\partial J}{\partial OUT}$ （$J$为损失函数）

详见MSE求导及CE求导公式推导。