深度学习入门笔记之神经网络基础

深度学习入门

一、神经网络基础

1.人工神经元

从人类神经元中抽象出来的数学模型

Threshold指的是激活函数 , 当输入达到一定阈值时 , 函数会被激活

∑和Threshold组成了对信息处理的模块 , 对应人类的神经元的细胞核

output对应人类神经元的神经末梢

input对应人类神经元的树突

人工神经网络是大量的人工神经元以某种连接方式构成的机器学习模型

连接的权重表示神经元与神经元之间连接的强弱

$o=\sigma (<w,x>+b)$ // 其中 , b是指bias表示偏置 , σ表示激活函数

2.多层感知机

单层神经网络基础上引入一个或多个隐藏层 , 使神经网络有多个网络层 , 由此称其为多层感知机

数据的前向传播 : 以上图为例 , 输入的数据是一个 $X_{1\ast 4}$ 的向量 , 第一个隐藏层是一个 $H_{1\ast 5}$的向量 , 其中的运算过程如下
$$\sigma (X_{1\ast 4}\cdot W_h)=H_{1\ast 5}$$
这里 $W_h$是输入层和第一个隐藏层之间的权重矩阵 , $\sigma (X_{1\ast 4}\cdot W_h)$是多层感知机的激活函数

多层感知机必须要有激活函数 ,如果没有激活函数的话, 多层感知机就会退化成单层网络 , 以一个包含一层隐藏层的多层感知机为例

$$H=X{W}_h+b_h$$

$$O=H{W}_o+b_{o}O=(X{W}_h+b_h)W_o+b_o=X{W}_h{W}_o+b_o=X{W}_h{W}_o+b_h{W}_o+b_o$$

其中 , 公式(3)的最后一项 , $b_h{W}_o+b_o$可以看作是一个偏置项$b$ , $X{W}_h{W}_o$项中的输入数据X与两个矩阵的相乘可以看作是$XW$ , 因此若没有激活函数 , 公式(3)可以看作为 $O=XW+b$ , 就退化到了单层网络了

3.激活函数

激活函数的作用

1. 让多层感知机成为真正的多层,否则无论增加多少层数 , 多层感知机仍然等价于一层
2. 引入非线性 , 使网络可以逼近任意非线性函数

激活函数需要具备的性质

1. 连续并可导 , 但允许在少数点上不可导 , 便于利用数值优化的方法学习网络参数
2. 激活函数及其导数要尽可能的简单
3. 激活函数的导函数的值域要在合适区间内

三个常见的激活函数

Sigmoid函数 (S型)
$$g(z)=1/1+e^{-z}$$

$$g^{‘}(z)=g(z)\ast (1-g(z))$$

公式(4)是sigmoid函数的表示 , (5)为其导函数 , 值接近于0 , 遗忘,接近于1则保留该值。

导函数的两侧接近于0的区域被称为饱和区。 如果神经元大量落入到饱和区 , 会使得网络模型的训练比较困难

Than双曲正切函数
$$\tanh (x)=(e^x-e^{-x})/(e^x+e^{-x})$$

$$g‘(z)=1-(g(z){)}^2$$

函数曲线与sigmoid函数非常接近 , 但是值域是[-1,1]。导函数同样存在一个饱和区

$$Relu=\max (0,x)$$

$$g‘(z)=\{\begin{array}{ll}1,& \text{if z>0}\\ undefined,& \text{if z=0}\\ 0& \text{if z <0}\end{array}$$

在现在的神经网络中的隐藏层经常使用

S型和双曲正切激活函数被称为饱和型激活函数 . Relu被称为非饱激活函数

4.反向传播

1. 前向传播 : 输入层数据开始从前向后 , 数据逐步传递至输出层 传播的是输入样本
2. 反向传播 : 损失函数开始从后向前 , 梯度逐步传递至第一层 传播的是梯度

反向传播的作用: 用于权重更新,使网络输出更接近标签

损失函数 : 衡量模型输出与真实标签的差异 , $Loss=f(y^{‘},y)$ , 损失函数值越小 , 模型效果越好

$y^{‘}$ 可以理解为是模型的输出 , 而y可以理解为是真实的标签

反向传播原理

微积分中的链式求导法则 , 链式求导法则公式
$$\begin{gathered} y=f(u),u=g(x) \\ \partial y/\partial x=(\partial y/\partial u)\ast (\partial u/\partial x) \end{gathered}$$

多层感知机组成中 , 梯度是如何从后往前传播的?

先讲讲前向传播

计算图中 , 节点用矩形表示 代表数据 , 边用圆圈表示 , 代表操作。

在输入层和隐藏层之间的权重矩阵记为 $W_{4\ast 5}^{(1)}$ , 隐藏层和输出层之间的权重矩阵记为$W_{5\ast 3}^{(2)}$

在计算图中 , $z=x\cdot W^{(1)}$ ,即将权重矩阵$W_{4\ast 5}^{(1)}$ 和 输入数据 x相乘得到中间遍历z 。$\varphi$指的是激活函数,h即中间隐藏层的值 , $h=\varphi (z)$

在输出层中 , $o=h\cdot W^{(2)}$ , 将o和标签值输入到损失函数中 , 得到损失值就是二者之间的差距
$$z=x\cdot W^{(1)}$$

$$h=\varphi (z)$$

$$o=h\cdot W^{(2)}$$

然后是反向传播

**梯度下降法 : **

权值沿梯度的负方向更新,使得函数值减小

目的是让函数值迅速下降

数学概念 :

1. 导数 : 函数在指定坐标轴上的变化率
2. 方向导数 : 指定方向上的变化率
3. 梯度 : 一个向量,方向为方向导数取最大值的方向; 梯度的方向的增长最快的方向

**学习率 : **

控制更新的步长 (一般沿梯度负方向更新) , 通常是小于1的

没有加入学习率可能造成得出的结果无法控制

5.损失函数

衡量模型输出与真实标签之间的差距

三个常见概念

1. 损失函数 $Loss=f(y^{‘},y)$ 单个样本的差异值。 工程上通常以批量的方式求取
2. 代价函数 : $Cost=1/N\cdot {\sum }_i^{N}f(y_i^{‘},y_i)$ 求总体样本的差异值
3. 目标函数 : $Obj=Cost+RegularizationTerm$ 损失函数+正则项

正则项通过用于控制模型的复杂度 , 复杂度过高容易造成过拟合现象

两种常见损失函数

1. MSE 均方误差 , 常用于回归任务中 $MSE=({\sum }_{i=1}^n{y}_i-y_i^p{)}^2)/n$ 其中 $y_i^p$是回归预测的结果
2. CE 交叉熵 常用于分类任务 $H(p,q)=-{\sum }_{i=1}^{n}p(x_i)\log q(x_i)$ 用于衡量两个分布之间的差异 p是真实值的概率,q是模型输出的概率

三种熵之间的关系

P是真实存在的需要去逼近的分布 , 而Q是模型输出的分布 (p,q同义)

为什么优化交叉熵等价于优化相对熵? 信息熵是一个常数

Softmax函数 : 将数据变换到概率分布的形式 , 公式 $y_i=S(z{)}_i=e^{z_i}/{\sum }_{j=1}^C{e}^{z_j},i=1,...,C$

如何将数据变换到概率分布的形式

Softmax操作

• 取指数 , 实现非负
• 除以指数之和,实现之和为1

概率的两个性质

• 概率值非负
• 概率之和等于1

6.权值初始化

训练前对权值参数赋值 , 良好的权值初始化有利于模型的训练

将全部参数初始化为0则是一种错误的方法

通常采用随机初始化法 : 高斯分布随机初始化 , 从高斯分布中随机采样 , 对权重进行赋值 , 比如 N~(0,0.01) (对应公式 $N(\mu ,\sigma )$)

这里有一个$3\sigma 准则$ : 数值分布在$(\mu -3\sigma ,\mu +3\sigma )$中的概率为99.73%

自适应标准差 : 自适应方法随机分布中的标准差

Xavier初始化方法 : $U(-\sqrt{6/a+b)},\sqrt{6/a+b)}$ , a是输入神经元的个数 , b是输出神经元的个数

除此之外还有Kaiming初始化方法(MSRA方法)

7.正则化

Regularization : 减小方差的策略 , 通俗理解为是减轻过拟合的策略

误差可以分解为 : 误差=偏差+方差+噪声

• 偏差 : 度量学习算法的期望预测和真实结果的偏离程度 在训练的模型当前的输出结果到达噪声的差值
• 方差 : 度量相同大小的训练集的变动导致的学习性能的变换 , 即刻画了数据扰动对结果的影响 训练集和验证集之间的差异
• 噪声 : 任何学习算法所能达到的期望泛化误差的下界 训练模型的输出结果与1.0之间的差的最小值

示意图

过拟合现象 : 方差过大 , 在训练集上模型表现良好而在测试集上模型表现糟糕

曲线只走训练集的点 , 不走测试集的点

常见的正则项

1. L1 ${\sum }_i^N|w_i|$
2. L2 ${\sum }_i^N{w}_i^2$ 用于权值衰减 , 让权值不要太大。 也叫weight decay 权值衰减

左边是L1 , 右边是L2 , 每个图的右上方是Loss值的等高线 , 黑点表示在这个位置正则项是最小的

加入L2后的表现如图

L2可以减轻模型在训练集上的过拟合

常见的正则化方法

Dropout : 随机失活 , 随机选择一个神经元使其weight=0

优点 : 避免过度依赖某个神经元 , 实现减轻过拟合

其它正则化方法

• BN方法 Batch Normalization
• Layer Normalization
• Instance Normalization
• Group Normalization