Pandora-dl
文章平均质量分 82
深度学习基础理论集锦
ReLuJie
计算机视觉.
展开
-
归一化图解
Normalization methods FeatMaps:可以直观理解为一摞书[由N本书摞起来得到,每本书有C页,每页有H行字,每行字有W个字符]!Batch-Norm直观理解:BN-mean的形状为[1 x C x 1 x 1], 其中BN-mean[1, i, 1, 1]表示将这摞书每一本的第 i 页取出来合成一个由C页组成的序号为i-th的书,然后求该书的“平均字”,BN-var同理! 计算公式: ...原创 2020-06-28 11:53:45 · 318 阅读 · 0 评论 -
Optimizer的数学原理
SGD 与全量梯度下降相比,SGD的特点如下:优点 : 由于每次只涉及一个样本,因此梯度计算速度很快;缺点 : 每次计算梯度时只受单个样本的影响,所以导致梯度的准确度下降,可能会导致loss曲线的震荡改进方案 : 可以采用MinB...原创 2019-03-02 19:51:03 · 715 阅读 · 0 评论 -
Pytorch参数初始化--数学原理
预备知识假设x是一个随机变量,它的均值和方差的定义为: 假设x,y是两个随机变量,记z=xy,则随机变量z的均值和方差为: 特别地,当x,y独立的时候,则有: ...原创 2020-01-03 11:57:58 · 713 阅读 · 0 评论 -
常用激活函数小结
激活函数 印象笔记 ------------------------------------------------------------------------------------------ function adva...原创 2019-02-28 00:02:29 · 125 阅读 · 0 评论 -
Batch Normalization的数学原理
本文转载自:https://www.cnblogs.com/guoyaohua/p/8724433.html, 非常感谢耀华的精彩论述.paper :《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》ICML-2015 Batch Norm...转载 2019-02-28 18:35:55 · 511 阅读 · 0 评论