为什么深层神经网络难以训练_实验笔记—深度学习模型训练技巧三

点击蓝字关注我们

AI研习图书馆，发现不一样的世界

炼丹笔记

深度学习炼丹笔记三

深度学习模型训练技巧及可能出现的问题分析

一、为什么深度神经网络难以训练？

在深度神经网络中的梯度是不稳定的，在前端的层中或会消失，或会激增。这种不稳定性才是深度神经网络中基于梯度学习的根本问题。 1、梯度消失梯度消失是指通过隐藏层从后向前看，梯度会变的越来越小，说明前面层的学习会显著慢于后面层的学习，所以学习会卡住，除非梯度变大。梯度消失的原因受到多种因素影响，例如学习率的大小，网络参数的初始化，激活函数的边缘效应等。在深层神经网络中，每一个神经元计算得到的梯度都会传递给前一层，较浅层的神经元接收到的梯度受到之前所有层 梯度的影响 。 如果计算得到的梯度值非常小，随着层数增多，求出的梯度更新信息将会以指数形式衰减，就会发生梯度消失。 2、梯度爆炸在深度网络或循环神经网络(Recurrent Neural Network, RNN)等网络结构中，梯度可在网络更新的过程中不断累积，变成非常大的梯度，导致网络权重值的大幅更新，使得网络不稳定；在极端情况下，权重值甚至会溢出，变为 NaN值，再也无法更新。 3、权重矩阵的退化导致模型的有效自由度减少参数空间中学习的退化速度减慢，导致减少了模型的有效维数，网络的可用自由度对学习中梯度范数的贡献不均衡，随着相乘矩阵的数量(即网络深度)的增加，矩阵的乘积变得越来越退化。在有硬饱和边界的非线性网络中(例如 ReLU )，随着深度增加，退化过程会变得越来越快。 随着深度的增加，输入空间会在输入空间中的每个点处被扭曲成越来越细的单丝，只有一个与细丝正交的方向影响网络的响应。沿着这个方向，网络实际上对变化变得非常敏感。关于上篇文章实验笔记—深度学习模型训练技巧二中的第三个问题，其实权重退化说的就是，权重矩阵中0值越来越多，非0值越来越少。以上就是对深度神经网络通常难以训练的一些问题分析，仅供参考~

未完待续，敬请关注~

初闻不知曲中意，再听已是曲中人~

祝你深度学习快乐~~

点击阅读原文，可跳转至CSDN博客继续学习~

推荐阅读文章

[1] AI入门-人工智能的前世今生[2] AI入门-深度学习综述[3] AI入门-计算机视觉学习指南[附资源][4] 深度学习框架总结—国际篇[5] 深度学习-CNN结构设计技巧[6] 资源分享-深度学习及数据分析等资源合集

[7] 今日分享—统计学习方法

[8] 算法总结—人脸检测算法

[9] 目标检测算法-YOLOv4 

[10] 项目总结—人脸检测

[11] 数据结构与算法-Python语言案例实现

[12] 深度学习基础-二十种损失函数

[13] 深度学习-目标检测的十九个研究方向

[14] 项目实战-车辆检测案例实现

[15] 卷积神经网络-可变形卷积[上]

[16] 图像识别—EfficientNet算法详细总结

[17] 世界读书日—机器学习西瓜书|附下载链接

[18] 面试指南-算法岗如何针对性的准备校招面试

   ......

点击"在看"了解更多精彩内容 转载是一种动力 分享是一种美德 Bilibili : 洛必达数数CSDN博客：算法之美DLGitHub：statisticszhang

关注AI研习图书馆，发现不一样的精彩世界