机器学习中的范数

本文介绍了机器学习中的范数概念,包括向量的0-范数、1-范数、2-范数、+∞-范数和-∞-范数,以及矩阵的1-范数、2-范数、F-范数和∞-范数。范数在模型训练中起到防止过拟合、衡量迭代收敛性的作用。通过Numpy库,我们可以计算向量和矩阵的范数,这对于理解和实践深度学习中的损失函数优化至关重要。
摘要由CSDN通过智能技术生成

主要介绍几个基本概念

  • 规范化参数:机器学习的模型拟合训练数据;

  • 最小化误差:防止机器学习的模型与训练数据过度拟合;

  • 范数:机器学习、深度学习等计算机领域内用的比较多的就是迭代过程中收敛性质的判断,一般迭代前后步骤的差值称为范数,用范数表示其大小。


    常用的是二范数,差值越小表示越逼近实际值,可以认为达到要求的精度,收敛。范数本质是距离,存在的意义是为了实现比较

向量的范数

假设x是向量:
x = ( x 1 , x 2 , … , x n ) x=(x_1,x_2,…,x_n) x=(x1,x2,,xn)
那么p-范数的计算公式如下:
∣ ∣ x ∣ ∣ p = ∑ i = 1 n ∣ x i ∣ p p \vert\vert x \vert\vert_p = \sqrt[p]{\sum_{i = 1}^{n}|x_i|^p} xp=pi=1nxip
x向量的各元素绝对值的p次方之和的p方根。

1) 0-范数:表示向量中非零元素的个数。
∣ ∣ x ∣ ∣ 0 = ∑ i = 1 n ∣ x i ∣ 0 0 \vert\vert x \vert\vert_0 = \sqrt[0]{\sum_{i = 1}^{n} \vert x_i\vert^0} x0=

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值