【深度学习】—模型优化的各种方法(Relu、RMSProp、Dropout)等

最新推荐文章于 2024-09-17 06:30:00 发布

天阑的芋头

最新推荐文章于 2024-09-17 06:30:00 发布

阅读量3.2k

点赞数 1

分类专栏： # 深度学习文章标签：深度学习模型优化

本文链接：https://blog.csdn.net/qq_34069667/article/details/108563935

版权

本文介绍了深度学习中模型优化的一些关键方法，包括激活函数的选择，如Sigmoid和ReLU及其优缺点。针对梯度消失和爆炸问题，提出了ReLU作为解决方案，解释了ReLU如何增加非线性表达能力。此外，文章还探讨了优化算法，如Adagrad、Momentum、RMSProp和Adam，以及防止过拟合的Dropout技术。

摘要由CSDN通过智能技术生成

阅读之前看这里👉：博主是一名正在学习数据类知识的学生，在每个领域我们都应当是学生的心态，也不应该拥有身份标签来限制自己学习的范围，所以博客记录的是在学习过程中一些总结，也希望和大家一起进步，在记录之时，未免存在很多疏漏和不全，如有问题，还请私聊博主指正。
博客地址：天阑之蓝的博客，学习过程中不免有困难和迷茫，希望大家都能在这学习的过程中肯定自己，超越自己，最终创造自己。

问题的提出

在深度学习的过程中，我们可能出现两种问题，一个问题是模型在训练集上表现不好，另一种问题是模型在测试集上表现不好(过拟合)。

针对这些问题，有什么可以优化的方法呢？

一、模型在测试集上表现不好的优化方法

1.激活函数的选择

神经网络的激活函数其实是将线性转化为非线性的一个函数，在深度学习中常用的激活函数有sigmoid function。

1.1 什么是Sigmoid function

一提起Sigmoid function可能大家的第一反应就是Logistic Regression。我们把一个sample扔进 $s i g m o i d$ 中，就可以输出一个probability，也就是是这个sample属于第一类或第二类的概率。还有像神经网络也有用到 $s i g m o i d$ ，不过在那里叫activation function。Sigmoid function长下面这个样子：
$\sigma(z)=\frac{1}{1+e^{-z}}$
其实这个function我们只知道怎么用它，但是不知道它是怎么来的，以及底层的含义是什么。