神经网络复习--自编码神经网络和神经网络问题解决

相关概念

稀疏性可以简单地解释如下。如果当神经元的输出接近1的时候我们认为他被激活，而输出接近0时认为它被抑制，那么使得神经元大部分的时间都是被抑制则被称为稀疏性抑制。

稀疏编码算法是一种无监督学习方法，它用来寻找一组“超完备”基向量来更高效地表示样本数据。稀疏编码算法的目的就是找到一组基$\varphi (i)$, 使得我们能将输入向量x表示为这些基向量的线性组合：
$$X=\sum _{i=1}^k{\alpha }_i\varphi (i)$$

给定无标签数据，用非监督学习学习特征。
稀疏自编码器
如果在自编码器的基础上加上L1正则化限制就得到稀疏自编码器
栈式自编码器
栈式自编码网络是一个有自编码器组成的神经网络，其前一层自编码的输出作为其后一层自编码器的输入。采用逐层贪婪训练法进行训练，获得栈式自编码神经网络参数。

深度自动编码器的构建
DAE的构建主要由两个步骤：

1. DAE的预训练：无监督的逐层贪婪训练
   • 以无监督的方式训练神经网络的第一层，将其输出作为原始输入的最小化重构误差
   • 每个隐层单元的输出作为下一层神经网络的输入，用无类标数据样本对下一层进行训练，将误差控制在一定范围内
   • 重复步骤2，直到完成规定数量隐含层的训练为止
   • 将最后一个隐含层的输出作为有监督层的输入，并且初始化有监督层的参数
2. DAE的微调：有监督权重微调
   • 对权重、偏置和阈值赋值，对网络进行初始化
   • 随机选取类标数据样本用BP算法对神经网络进行训练，计算各层的输出
   • 求出各层的重构误差，并根据误差修正权值和偏置
   • 根据性能指数判定是否满足要求，如果未能满足则重复2和3，直到整个网络输出满足期望要求

深度学习中的问题

过拟合的解决办法：

1. 获取更多的数据：从数据源获得更多数据，或数据增强
2. 数据预处理：清洗数据、减少特征维度、类别平衡
3. 正则化：限制权重过大、网络层数过多，避免模型过于复杂
4. 多种模型结合：集成学习思想
5. Dropout：随机从网络中去掉一部分隐神经元
6. 限制训练时间、次数，及早停止

数据增强的方法：

1. 随机裁剪增强：通过调整图像的尺寸可以大量扩展数据
2. 翻转和旋转增强：翻转和旋转都是讲原始的图像像素再位置空间上做变换，包括水平镜像翻转，垂直镜像翻转，原点镜像翻转，角度旋转等操作
3. 图向缩放。向外缩放时图像尺寸大于原始图像尺寸，为保持原始图像大小，通常需要结合裁剪，从缩放后的图像裁剪出原始图像一样的大小。另一种是缩放，缩小图像大小直到达到预设大小
4. 加噪声
5. 对比度contrast：在图像HSV颜色空间，改变高合度S和亮度V分量，保持色度H不变，对每个像素的S和V分量进行指数运算（指数因子在0.25到4之间），增加光照变化

梯度爆炸的解决办法：

1. 预训练+微调
2. 梯度裁剪：主要针对梯度爆炸问题，设置一个阀值，当梯度超过这个阀值之后将它限制在这个范围之内
3. 权重正则化，L1和L2正则化
4. 使用Relu Lrelu Prelu Rrelu激活函数来防止梯度消失问题
5. batchnorm（归一化）
6. 使用残差网络

梯度消失的解决办法：

1. 预训练+微调
2. 使用Relu Lrelu Prelu Rrelu激活函数来防止梯度消失问题
3. batchnorm
4. 使用残差网络

卷积神经网络的压缩

1. 核稀疏化：在训练过程中，对权重更新加以正则化，使其更加稀疏，使大部分的去权值都为0
2. 网络剪枝：神经网络参数众多，但其中有些参数对最终输出结果贡献不大而显得冗余，剪枝就是要将这些冗余的参数减掉。可以实现模型压缩和加速
3. 模型量化：着眼于参数本身，直接减少每个参数的存储空间，提升每次标量乘法和加法的速度，从而实现模型的压缩和加速
4. 模型蒸馏：实际采用的是迁移学习，通过采用预先训练好的复杂模型输出作为监督信号去训练简单的网络。将复杂网络中有用信息迁移到一个更小的网络上，这样学习的小网络可以具备和大的网络接近的性能效果，且大大节省计算资源

分类指标

混淆矩阵

ROC曲线就是将选择每个阈值得到的混淆矩阵对应的$TPR=\frac{TP}{TP+FN}$作为纵坐标, $FPR=\frac{FP}{FP+TN}$作为横坐标绘制的图像称为ROC曲线

而AUC值就是反应对应曲线是否更加合适的度量，为曲线的面积，对应的值越大说明越好

up主讲解