![](https://img-blog.csdnimg.cn/20190918140012416.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习
文章平均质量分 95
深度学习笔记
软耳朵DONG
做一个T字形人才
展开
-
如何理解神经网络的前向传播与反向传播机制?
梯度消失和梯度爆炸1. 信息前向传播2. 误差反向传播\qquad神经网络的训练过程通常分为两个阶段:前向传播和反向传播。“前向传播”求损失,“反向传播”回传误差。1. 信息前向传播\qquad所谓的前向传播算法就是从输入层开始,依次经过隐藏层(如果有)最终到达输出层的过程。将上一层的输出作为下一层的输入,并计算下一层的输出。数据每经过一层传播,其节点输出的值所代表的信息层次就越高阶和概括。\qquad三层神经网络的前向传播如下图:\qquad如图所示,hidden layerhi原创 2021-09-19 00:10:30 · 542 阅读 · 0 评论 -
一文读懂梯度下降法
一文读懂梯度下降法1. 前言2. 导数(derivative)3. 偏导数(partial derivative)4. 方向导数(directional derivative)5. 向量(vector)6. 梯度(gradient)1. 前言\qquad机器学习中的大部分问题都是优化问题,而绝大部分优化问题都可以使用梯度下降法处理,那么搞懂什么是梯度,什么是梯度下降法就非常重要!这是基础中的基础,也是必须掌握的概念!\qquad提到梯度,就必须从导数(derivative)、偏导数(partial d原创 2021-09-07 12:57:17 · 188 阅读 · 0 评论