梯度下降 & 神经网络（RNN & LSTM)

最新推荐文章于 2024-07-08 11:43:01 发布

关在耳朵里的鱼和梦境

最新推荐文章于 2024-07-08 11:43:01 发布

阅读量1.3k

点赞数 1

分类专栏： learning note 文章标签：神经网络 rnn lstm

本文链接：https://blog.csdn.net/the_why_cafe/article/details/119704077

版权

本文介绍了代价函数和梯度下降在回归模型中的应用，特别是梯度下降如何找到代价函数的局部最小值。接着，讨论了RNN（循环神经网络）如何处理序列数据，以及其在多种任务中的应用。最后，探讨了LSTM如何通过门控机制解决RNN的长期依赖问题，提高长期记忆的保留效率。

摘要由CSDN通过智能技术生成

一、代价函数和梯度下降

回归模型的代价函数（平方误差函数）：模型预测值和实际值之间的差的平方和。最小二乘法表达式，用平方和来表达差的绝对值的大小。
在这里插入图片描述

回归模型的目标便是找到使得代价函数最小的模型参数组合。

梯度：用于更新神经网络的权重值
梯度下降：一个用来求函数最小值的算法，比如用梯度下降来求得代价函数的最小值。随机选择一个参数组合（ $\theta_0\,,\theta_1\,,\theta_2\,......\theta_n\,$ ）开始，寻找下一个使得代价函数值下降最多的参数组合，以此类推直到找到达到local minimum代价函数值的参数组合。
在这里插入图片描述

随着传播推移，梯度逐渐减小，梯度消失时，模型会停止学习。
在这里插入图片描述
批量梯度下降（batch gradient descent）：在梯度下降的每一步中都用到了完整的样本集，并对m个训练样本求和。

$\alpha\,$ is the learning rate (每一次学习的时候梯度下降的幅度) and the derivative part help control the direction of gradient descent until zero. Since the derivative will decrease when we approaching the local minimum, even if we do n