机器学习总结（十一）：深度学习算法（CNN,SAE,等）及常见问题总结

最新推荐文章于 2024-07-21 15:35:15 发布

西电校草

最新推荐文章于 2024-07-21 15:35:15 发布

阅读量1.5w

点赞数 8

分类专栏：机器学习总结机器学习文章标签：机器学习深度学习 cnn sae

本文链接：https://blog.csdn.net/cppjava_/article/details/71249254

版权

本文深入探讨了深度学习中的卷积神经网络（CNN）和自动编码器（SAE），包括CNN的层级结构、数据预处理、参数初始化、卷积层、激励层、池化层和全连接层。同时，介绍了SAE的基本思想、降维与稀疏自编码器的应用，以及堆叠自编码器的训练过程。此外，文章还分享了深度学习的调参优化方法，如学习率选择、正则化和BatchNormalization等，以及如何防止过拟合的策略，如数据集扩充和Dropout技术。

摘要由CSDN通过智能技术生成

（1）CNN

层级结构：输入层->卷积层->激励层->卷积层->激励层。。。

数据输入层（数据预处理）：三种方法：去均值（即0均值化，CNN常用，训练集所有像素值减去均值，把输入数据各个维度中心化到0，测试集也减相同的均值）；归一化（幅度归一化到同样的范围）；PCA/白化（降维，白化是对数据每个特征轴上的幅度归一化）。

去均值的目的：（1）数据有过大的均值可能导致参数的梯度过大，在梯度回传时会有一些影响；（2）如果有后续的处理，可能要求数据0均值，比如PCA。

归一化的目的：为了让不同维度的数据具有相同的分布规模，方便操作，图像一般不需要。

白化的目的：相当于在零均值化和归一化操作之间插入一个旋转操作，将数据投影在主轴上。图像一般不需要，因为图像的信息本来就是依靠像素之间的相对差异来体现的。

参数初始化：随机初始化，给每个参数随机赋予一个接近0的值（不可0初始化）。

卷积计算层/CONV layer:参数共享机制。(跟过滤好像)；作用：提取特征，通过BP误差的传播，可以得到对于这个任务最好的卷积核。

激励层（把卷积层输出结果做非线性映射）：

Sigmoid，tanh，ReLU

Leaky ReLU:f(x)=max(0.01x,x)，Maxout。

池化层/Pooling layer：夹在连续的卷积层中间。作用：1.具有压缩数据和参数的量，减小