机器学习个人笔记——（六）神经网络（1）从线性回归到神经网络简单直观分析

一、线性回归与神经网络

神经网络是一种模拟人脑的神经网络以期能够实现类人工智能的机器学习技术。

单层

单个输出

假设现需要预测房屋的出售价格，房屋通过以下特征，面积（$x_1$）空气指数（$x_2$），交通指数($x_3$)，最终输出价格（$y$）

面积（$x_1$）	空气指数（$x_2$）	交通指数($x_3$)	价格（$y$）
100	25	40	30
120	35	45	50
…	…	…	…

若上表为数据样本集，
使用线性回归去训练模型并预测，步骤如下：

1. 设定线性方程为：
   $$y=w_1{x}_1+w_2{x}_2+w_3{x}_3+b$$

2. 通过数据集训练，求出最合适的参数：

$$w_1,w_2,w_3,b$$

3. 从而得到得到一个完整的表达式:
   $$y=w_1{x}_1+w_2{x}_2+w_3{x}_3+b$$

4. 当输入一个新的数据（输入特征值$x_1,x_2,x_3$），代入3中的方程，即可实现预测$y$的效果。

向量化：

将$w_1,w_2,w_3$看成一个列向量:
$$\mathbf{w}=\left[\begin{array}{c}{w}_1\\ w_2\\ w_3\end{array}\right]$$
将输入特征也$x_1,x_2,x_3$也看成一个列向量:
$$\mathbf{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]$$

此时表达式$y=w_1{x}_1+w_2{x}_2+w_3{x}_3+b$
向量化即转换为：
$$y={\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b$$

以上是线性回归实现预测房屋价格的例子

用图来表示即

在这个例子中，只有一个输出：$y$

多个输出

若，
将预测房屋价格问题进行修改，不光要预测价格，还要预测房屋内的房间数量
如此以来，训练样本集的特征以及 标签即如下表所示。

面积（$x_1$）	空气指数（$x_2$）	交通指数($x_3$)	价格（$y_1$）	房间数量$y_2$
100	25	40	30	5
120	35	45	50	6
…	…	…	…	…

此时，若要实现该模型，则需要设2个方程
分别为
$$y_1={\mathbf{w}}_1^{\mathbf{T}}\mathbf{x}+b_1$$
$$y_2={\mathbf{w}}_2^{\mathbf{T}}\mathbf{x}+b_2$$
通过训练集分别求出
$$w_{11},w_{12},w_{13},b_1（即{\mathbf{w}}_1，b_1$$
$$w_{21},w_{22},w_{23},b_{22}（即{\mathbf{w}}_1，b_2$$
将新输入的特征分别代入两个方程中即可预测$y_1，y_2$
示意图如下，此时有2个输出：$y_1，y_2$

多层

1. 单层单个输出中，我们直接将$x_1,x_2,x_3$代入方程中，得到输出的预测值$y$
2. 单层多个输出中，将$x_1,x_2,x_3$，代入不同的方程，得到不同的输出预测值$y_1,y_2$

缺点：使用线性回归，最终都是通过一个直线，或者平面对数据进行拟合，但是，在实际问题中，许多问题并不都是线性的

现将问题再进行修改，我需要预测房屋中的家庭人口数量
训练样本集的特征以及标签即如下表所示。

面积（$x_1$）	空气指数（$x_2$）	交通指数($x_3$)	人口数量$y$
100	25	40	4
120	35	45	5
…	…	…	…

此时依旧可以使用线性回归，使用如下方式进行线性拟合

但是，从特征和标签的相关性来看，家庭人口数与 面积（$x_1$），空气指数（$x_2$），交通指数($x_3$) 似乎并没有直接的关联性，若只使用线性回归进行拟合可能会导致训练出来的效果非常差。

从另一方面来看，家庭人口数这个标签，和 房间数量 以及 房屋的价格（等价于经济水平），相关性比较大，因此使用房间数量和房屋价格作为特征，所训练出来的效果可能会更好。

但是给出的特征里，并没有房间数量和房屋价格这两个特征。

​这个时候就可以借助单层的问题思路，引出多层的概念
我们定义一个新的方程
$$y=l_1{y}_1+l_2{y}_2+c$$
$y_1$为房间数量特征，$y_2$为房屋价格特征

在之前的问题中，我们可以通过特征值$x_1,x_2,x_3$分别代入以下两个方程中，得到$y_1,y_2$
$$y_1={\mathbf{w}}_1^{\mathbf{T}}\mathbf{x}+b_1$$
$$y_2={\mathbf{w}}_2^{\mathbf{T}}\mathbf{x}+b_2$$
此时，再将$y_1,y_2$作为已知的特征，代入最终的方程，进行训练得到合适的参数$l_1,l_2,l_3,c$：
$$y=l_1{y}_1+l_2{y}_2+c$$
即可得到所需要的$y$

为了区分，使用$l_1,l_2,c$作为参数

向量化即为：
$$y={\mathbf{l}}^{\mathbf{T}}\mathbf{x}+c$$

用图进行表示即为

这个就有点类似于神经元，每个节点干不同的事情

在机器学习中的神经网络也是这样一个结构，但是相比机器学习的神经网络还少了一个部分，激活函数。

二、神经网络原理

在神经网络中，$y_1,y_2$并没有明确的含义，在之前为了表达更直观，将$y_1,y_2$称作为房间数量和房屋价格这两个特征，但是实际上，在一个完整的神经网络中，隐藏层的输出的不会给出明确含义

同样，一个多层的神经网络结构包含了输入层，隐藏层，输出层

而，在神经网络中，神经元节点会套一层激活函数。
例如在上述的隐藏层和输出层表达式中，
$$y_1={\mathbf{w}}_1^{\mathbf{T}}\mathbf{x}+b_1$$
$$y_2={\mathbf{w}}_2^{\mathbf{T}}\mathbf{x}+b_2$$
$$y={\mathbf{l}}^{\mathbf{T}}\mathbf{y}+c$$
加入对应的激活函数=>
$$y_1=f_1({\mathbf{w}}_1^{\mathbf{T}}\mathbf{x}+b_1)$$
$$y_2=f_2({\mathbf{w}}_2^{\mathbf{T}}\mathbf{x}+b_2)$$
$$y=f_3({\mathbf{l}}^{\mathbf{T}}\mathbf{y}+c)$$
其中，$f_1(x),f_2(x),f_3(x)$为激活函数。

用图表示如下：

一般结构

神经网络中，如下图
输入层，m个特征，即m个输入，分别为$x_1$~$x_m$。
隐藏层，有k层，每一层的节点个数分别为$n_1,n_2,...,n_k$，即第i层有$n_i$个输出

第1层隐藏层的第1个节点，其表达式为：
$y_1^{[1]}=f(w_{11}^{[1]}{x}_1+w_{12}^{[1]}{x}_2+...+w_{1m}^{[1]}{x}_m+b_1^{[1]})$
m为上一层的输入，向量形式为
$y_1^{[1]}=f({\mathbf{w}}_1^{[1]}\mathbf{x}+b_1^{[1]})$
-----------------------------------------------------------------------------------
第1层隐藏层的第2个节点，其表达式为：
$y_2^{[1]}=f(w_{21}^{[1]}{x}_1+w_{22}^{[1]}{x}_2+...+w_{2m}^{[1]}{x}_m+b_2^{[1]})$
m为上一层的输入，向量形式为
$y_2^{[1]}=f({\mathbf{w}}_2^{[1]}\mathbf{x}+b_2^{[1]})$
-----------------------------------------------------------------------------------
第1层隐藏层的第j个节点，$j\in [1,2,3...,n_1]$,
其表达式为：
$y_j^{[1]}=f(w_{j1}^{[1]}{x}_1+w_{j2}^{[1]}{x}_2+...+w_{jm}^{[1]}{x}_m+b_j^{[1]})$
m为上一层的输入，向量形式为
$y_2^{[1]}=f({\mathbf{w}}_{\mathbf{j}}^{[1]}\mathbf{x}+b_j^{[1]})$

第i层隐藏层的第j个节点，$i\in [1,2,3...,k]$,$j\in [1,2,3...,n_j]$
且设第i层隐藏层的输入为$x_1^{[i]},x_2^{[i]},...,x_{n_{i-1}}^{[i]}$(向量形式：${\mathbf{x}}^{[\mathbf{i}]}$)
(输入的个数为上一层的输出个数)
表达式为：
$y_i^{[i]}=f(w_{i1}^{[i]}{x}_1^{[i]}+w_{i2}^{[i]}{x}_2^{[i]}+...+w_{i{n}_{i-1}}^{[i]}{x}_{n_{i-1}}^{[i]}+b_i^{[i]})$
向量形式为
$y_i^{[i]}=f({\mathbf{w}}_{\mathbf{j}}^{[\mathbf{i}]}{\mathbf{x}}^{[\mathbf{i}]}+b_i^{[1]})$

输出层：

输出层的n个输出，$y_1$~$y_n$表达式为：
$y_1=f({\mathbf{w}}_1^{\mathbf{k}+1}\mathbf{x})$ (k+1表示隐藏层的后一个)
$y_2=f({\mathbf{w}}_2^{\mathbf{k}+1}\mathbf{x})$
…
$y_n=f({\mathbf{w}}_{\mathbf{n}}^{\mathbf{k}+1}\mathbf{x})$

神经网络传播过程

以该结构为例，
输出$y$
$y=f_3(l_1{y}_1+l_2{y}_2+c)=f_3({\mathbf{l}}^{\mathbf{T}}\mathbf{x}+c)$

$y_1=f_1(w_{11}{x}_1+w_{12}{x}_2+w_{13}{x}_3+b_1)=f_1({\mathbf{w}}_1^{\mathbf{T}}\mathbf{x}+b_1)$
$y_2=f_2(w_{21}{x}_1+w_{22}{x}_2+w_{23}{x}_3+b_2)=f_2({\mathbf{w}}_2^{\mathbf{T}}\mathbf{x}+b_2)$

联立以上3个方程，可得
$y=f_3(l_1{f}_1(w_{11}{x}_1+w_{12}{x}_2+w_{13}{x}_3+b_1)+l_2{f}_2(w_{21}{x}_1+w_{22}{x}_2+w_{23}{x}_3+b_2)+c)$

=>
$y=f_3(l_1{f}_1({\mathbf{w}}_1^{\mathbf{T}}\mathbf{x}+b_1)+l_2{f}_2({\mathbf{w}}_2^{\mathbf{T}}\mathbf{x}+b_2)+c)$

若所有的激活函数为线性函数，
即$f(x)=x$，则输出$y$的表达式如下

$y=l_1({\mathbf{w}}_1^{\mathbf{T}}\mathbf{x}+b_1)+l_2({\mathbf{w}}_2^{\mathbf{T}}\mathbf{x}+b_2)+c$

三、激活函数

为什么要使用非线性激活函数

如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。
即此时相当于线性激活函数为 $f(x)=x$

可以通过数学证明，若在所有的隐藏层和输出层中，使用线性激活函数，那么无论隐藏层有多少层，最后所训练出来的模型的效果，和直接单层输出的效果是一样的。

如果使用非线性激活函数，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。

常用的激活函数

(1) sigmoid函数

$$f(x)=\frac{1}{1+e^{-z}}=sigmoid(x)$$

曲线:

用于隐层神经元输出，取值范围为(0,1)
它可以将一个实数映射到(0,1)的区间，可以用来做二分类。
在特征相差比较复杂或是相差不是特别大时效果比较好。

(2) Tanh函数

$$f(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}=tanh(x)$$

取值范围为[-1,1]，tanh在特征相差明显时的效果会很好

与 sigmoid 的区别是，tanh 是 0 均值的，因此实际应用中 tanh 会比 sigmoid 更好，经过测试，tanh 也确实是比 sigmoid更好