一范数L1和二范数L2

范数是具有“长度”概念的函数。在向量空间内,为所有的向量的赋予非零的增长度或者大小。不同的范数,所求的向量的长度或者大小是不同的。
举个例子,2维空间中,向量(3,4)的长度是5,那么5就是这个向量的一个范数的值,更确切的说,是欧式范数或者L2范数的值。

范数就是为了方便度量而定义出的一个概念,主要就是面对复杂空间和多维数组时,选取出一个统一的量化标准,以方便度量和比较。请务必记住,范数是人为定义的一种度量方法。

对于p-范数,如果
x=[ x 1 x_1 x1, x 2 x_2 x2,…, x n x_n xn]^T
那么向量x的p-范数就是
∣ ∣ x ∣ ∣ p ||x||_p xp=( ∣ x 1 ∣ p |x_1|^p x1p+ ∣ x 2 ∣ p |x_2|^p x2p+ ∣ x 3 ∣ p |x_3|^p x3p+…+ ∣ x n ∣ p |x_n|^p xnp)^ 1 p \frac{1}{p} p1

L1范数:所有元素绝对值的和。
∣ ∣ x ∣ ∣ 1 ||x||_1 x1= ∣ x 1 ∣ |x_1| x1+ ∣ x 2 ∣ |x_2| x2+ ∣ x 3 ∣ |x_3| x3+…+ ∣ x n ∣ |x_n| xn
L2范数:所有元素平方和的开方。
∣ ∣ x ∣ ∣ 2 ||x||_2 x2= ∣ x 1 ∣ 2 + ∣ x 2 ∣ 2 + ∣ x 3 ∣ 2 + . . . + ∣ x n ∣ 2 \sqrt {|x_1|^2+|x_2|^2+|x_3|^2+...+|x_n|^2} x12+x22+x32+...+xn2

特别的,
L0范数:指向量中非零元素的个数。
无穷范数:指向量中所有元素的最大绝对值。

L2范数的好处是什么呢?这里也扯上两点:
1)学习理论的角度:
从学习理论的角度来说,L2范数可以防止过拟合,提升模型的泛化能力。
2)优化计算的角度:
从优化或者数值计算的角度来说,L2范数有助于处理 condition number不好的情况下矩阵求逆很困难的问题。(这个不明白)
L1范数与L2范数的区别
机器学习中L1 L2正则化项(范式,惩罚项)

  • 1
    点赞
  • 25
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值