正则化（Regularization）

前言

接触正则化是在《动手学习深度学习》的weight_decay中

权重衰退是通过L2正则化限制模型的参数，从而控制模型的复杂度

文章目录

前言

一、正则化是什么

二、L1 L2正则化说明

引用：

机器学习中正则化项L1和L2的直观理解_阿拉丁吃米粉的博客-CSDN博客_l1 l2正则化正则化（Regularization）机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1ℓ1\ell_1-norm和ℓ2ℓ2\ell_2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做...https://blog.csdn.net/jinping_shi/article/details/52433975

---

一、正则化是什么

通常在损失函数后面我们经常会看到有一个额外项，l1-normal L2-noraml

我们称他们为L1正则化/L2正则化，也可以说是L1范数，L2范数

将他们称之为损失函数的惩罚项（penalty）

二、L1 L2正则化说明

L1正则化是指权值向量w ww中各个元素的绝对值之和，通常表示为||W||1
 
L2正则化是指权值向量w ww中各个元素的平方和然后再求平方根（可以看到Ridge回归的L2正则化项有平方符号），通常表示为 ||w||^2