ResNet原理与代码实例讲解

光剑书架上的书

已于 2024-08-14 12:06:48 修改

阅读量885

点赞数 20

分类专栏：计算 AI大模型企业级应用开发实战 ChatGPT 文章标签：计算科学神经计算深度学习神经网络大数据人工智能大型语言模型 AI AGI LLM Java Python 架构设计 Agent RPA

于 2024-08-14 11:51:33 首次发布

本文链接：https://blog.csdn.net/universsky2015/article/details/141187268

版权

19109 篇文章 142 订阅 ¥39.90 ¥99.00

订阅专栏

7436 篇文章 17 订阅 ¥39.90 ¥99.00

订阅专栏

2265 篇文章 233 订阅 ¥59.90 ¥99.00

订阅专栏

深度学习网络的深度是其强大之处之一。但是，当我们尝试训练一个深度神经网络时，我们往往会遇到一个问题：随着网络层的增加，精度开始饱和，然后迅速下降。这个问题被称为梯度消失/爆炸问题，它使得深度神经网络变得难以训练。

这个问题的解决方案是何凯明等人在2015年提出的残差网络（ResNet）。ResNet通过引入“跳过连接”或“短路连接”来解决梯度消失/爆炸问题。

在深度学习中，通常使用反向传播和梯度下降来更新网络参数，以优化损失函数。然而，当网络变得相当深时，梯度通常会变得非常小。这就是所谓的梯度消失问题。由于这个问题，网络无法学习或更新其参数。

ResNet通过引入跳过连接来解决这个问题。跳过连接或短路连接是将输入直接连接到输出的方式，如下图所示：

Input -----> ConvLayer -----> Output
  |                            ^
  |                            |
  ------------------------------

了解本专栏

关注

专栏目录