![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
PyTorch与深度学习
枕戈待旦FSM
这个作者很懒,什么都没留下…
展开
-
Batch Normalization详解
学深度学习怎么可能学不到BN呢?今天就记录一下,学BN学到的一些知识。个人笔记,欢迎指点。原论文:《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》Batch Normalization的目的是使我们的feature map满足均值为0,方差为1的分布规律。这里所说满足某一分布规律并不是指某一个feature map的数据要满足分布规律,理论上是指整个训练样本集所原创 2022-04-21 16:22:24 · 1536 阅读 · 0 评论 -
深度学习中的计算图整理与总结
动态计算图1. 计算图计算图是用来描述运算的有向无环图计算图有两个主要元素:结点(Node)和边(Edge)结点表示数据,如向量,矩阵,张量。边表示运算,如加减乘除卷积等用计算图表示:y=(x+w)∗(w+1)y=(x+w)*(w+1)y=(x+w)∗(w+1)采用运算法的优势是令梯度的计算更加方便,y对w求导的过程如下:y对w求导一共包含两项内容,分别是y对a求导和y对b求导。2.PyTorch的动态图 根据计算图搭建方式的不同,可将计算图分为动态图和静原创 2021-03-17 12:24:35 · 2672 阅读 · 0 评论