PyTorch笔记 - Weight Normalization 权重归一化

ManonLegrand

已于 2024-04-12 23:32:13 修改

阅读量4.2k

点赞数 5

分类专栏：大模型 (LLM) 文章标签： pytorch 深度学习神经网络

于 2023-03-23 10:00:53 首次发布

本文链接：https://blog.csdn.net/caroline_wendy/article/details/129724806

版权

大模型 (LLM) 专栏收录该内容

145 篇文章 ¥79.90 ¥99.00

订阅专栏

超级会员免费看

权重归一化（Weight Normalization，WN）是优化深度神经网络的技术，它加速训练并提升泛化能力。通过将权重向量分解为方向和大小，归一化方向并保持大小为可训练参数，降低路径依赖，改善初始化和正则化。WN在PyTorch中可通过nn.utils.weight_norm实现，适用于小批量和动态网络，且不增加模型复杂度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

欢迎关注我的CSDN：https://spike.blog.csdn.net/
本文地址：https://blog.csdn.net/caroline_wendy/article/details/129708143

深度神经网络的权重归一化（Weight Normalization，简称WN）是一种优化技术，它可以加速训练过程并提高模型的泛化能力。权重归一化的基本思想是将每个神经元的权重向量分解为两个因子：方向和大小。然后，对方向进行归一化，使其具有单位范数，而大小则作为一个可训练的参数。这样做的好处是，它可以减少梯度下降中的路径依赖性，从而避免局部最优和鞍点。此外，权重归一化还可以改善网络的初始化和正则化，因为它可以降低权重矩阵的条件数，并且可以与批次归一化或dropout等技术结合使用。

权重归一化将连接权重向量w在其欧氏范数和其方向上解耦成了参数向量v和参数标量g，即w = g * v / ||v||，其中||v||表示v的欧氏范数。这样，原来对w的优化就转化为对g和v的优化，而g和v分别控制了w的长度和方向。