Numpy实现BatchNormalization(1)

Initialize running mean and variance if first run

if self.running_mean is None:

self.running_mean = np.mean(X, axis=0)

self.running_var = np.var(X, axis=0)

if training and self.trainable:

mean = np.mean(X, axis=0)

var = np.var(X, axis=0)

self.running_mean = self.momentum * self.running_mean + (1 - self.momentum) * mean

self.running_var = self.momentum * self.running_var + (1 - self.momentum) * var

else:

mean = self.running_mean

var = self.running_var

Statistics saved for backward pass

self.X_centered = X - mean

self.stddev_inv = 1 / np.sqrt(var + self.eps)

X_norm = self.X_centered * self.stddev_inv

output = self.gamma * X_norm + self.beta

return output

def backward_pass(self, accum_grad):

Save parameters used during the forward pass

gamma = self.gamma

If the layer is trainable the parameters are updated

if self.trainable:

X_norm = self.X_centered * self.stddev_inv

grad_gamma = np.sum(accum_grad * X_norm, axis=0)

grad_beta = np.sum(accum_grad, axis=0)

self.gamma = self.gamma_opt.update(self.gamma, grad_gamma)

self.beta = self.beta_opt.update(self.beta, grad_beta)

batch_size = accum_grad.shape[0]

The gradient of the loss with respect to the layer inputs (use weights and statistics from forward pass)

accum_grad = (1 / batch_size) * gamma * self.stddev_inv * (

batch_size * accum_grad

• np.sum(accum_grad, axis=0)

• self.X_centered * self.stddev_inv**2 * np.sum(accum_grad * self.X_centered, axis=0)

)

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）