学习笔记7-ML(Deep learning)-神经网络简介

1. 发展历史

通过调研，简单总结神经网络的发展及其应用场景，结果见下图：

2.神经网络

2.1 神经网络模型

神经网络的结构主要包含三层：输入层、隐含层以及输出层，当隐含层的层数非常大的时候即为深度学习，整个网络可以看成函数：
$$Output=f\left(input\right)$$

2.1.1 节点数值的传递

传递过程

假设$x$从Input层到Layer 1变成了$a_1$，$a_1$从Layer 1层到Layer 2变成了$a_2$，…，以此类推得到$a_L$，最后通过Softmax得到输出$y$

传递方法

设从Input层到Layer 1间的权重矩阵为$W_1$，其表达式为：

$$W_1=\left[\begin{array}{cccc}{w}_{1,1}& w_{1,2}& ...& w_{1,n}\\ w_{2,1}& w_{2,2}& ...& w_{2,n}\\ ...& ...& ...& ...\\ w_{n,1}& w_{n,2}& ...& w_{n,n}\end{array}\right]$$

其中，$w_{12}$表示Input层的$x_1$到Layer 1的$a_{1_2}$，以此类推，$L$层共L个权重矩阵。
那么$a_1$的具体计算方法为：
$$a_1=\sigma \left(W_{1}x+b_1\right)$$

依此类推(最近get一个知识点：递推又称套娃，^ __ ^)：
$$a_2=\sigma \left(W_2{a}_1+b_2\right)$$

…
$$a_i=\sigma \left(W_i{a}_{i-1}+b_i\right)$$

最终得：
$$a_L=\sigma \left(W_L\left(\sigma \left(W_{L-1}...\sigma \left(W_2\sigma \left(W_{1}x+b_1\right)+b_2\right)...+b_{L-1}\right)\right)+b_L\right)$$

2.2 神经网络损失函数

以手写数字识别为例子：

输出层得到$y$，对比真实值$\hat{y}$，得到两者的误差，具体方法是通过交叉熵得到：
$$l\left(y,\hat{y}\right)=-\sum _{i=1}^{10}{\hat{y}}_i\ln y_i$$

最后把$N$组训练集上的数据输入，计算总的误差：
$$L=i=1$$