soplars的博客

透彻理解：Batch Normalization是如何实现。

Batch Normalization为什么有效，以及11个值得讨论的问题。...

Batch Normalization如何反向传播，如何评估，细节都在这里！

冥思苦想，重度图解，满满诚意，让你完全彻底掌握Batch Normalization！

往事不察，无以知来者。在追逐新潮概念（ResNet、Mask R-CNN、Bert、GPT等）的时候，最好先回顾一下最初的源头脉络。出发点并不是考古，而是为了从最基本的思维原型着手，建立直觉的认识。如果循着这个脉络，你会发现：神经网络的由来是如此的自然而然，每一步的迭代亦是如此朴素，却又意义深远。文章目录四个概念的关系M-P模型特点功能不足感知器（Perceptron）特点功能不足多层感知...

我们看到成熟的神经网络时，往往能看到偏置bbb与激活函数Sigmoid或ReLU，但是它们是从何而来的呢？通过探究，我们将获得更深刻的认识。文章目录@[toc]偏置的前世今生偏置的由来偏置有什么意义激活函数的放飞自我激活函数有什么意义为什么要用激活函数偏置的前世今生偏置的由来用一张图就能说明白。来吧，少年，接图！图1.偏置的前世今生如果我的图做的有点杂乱，那咱们就稍微用用公式。回...

所谓前向传播，就是给网络输入一个样本向量，该样本向量的各元素，经过各隐藏层的逐级加权求和+非线性激活，最终由输出层输出一个预测向量的过程。看完这篇博客，你要是还不懂，一定是我哪里没写清楚，请联系我。文章目录@[toc]一个简化的例子加权和的计算激活值的计算矩阵化表示的好处一个简化的例子因为神经网络两层之间的连线、符号、上下标，确实让人头大，我们可以由一个简化的网络来计算出神经网络两层之间激...