面试知识点梳理二：常见范数最小二乘

最新推荐文章于 2023-09-18 15:04:08 发布
最新推荐文章于 2023-09-18 15:04:08 发布
阅读量2.3k 收藏 9
点赞数 3
分类专栏： 机器学习 文章标签： 虎牙面经
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29884019/article/details/100016453
版权

一点点查漏补缺吧~

l1范数为什么比l2范数更容易得到稀疏解

其实这个问题我之前看到过，包括也有介绍过0,1,2范数(详见L0、L1、L2、核范数以及RPCA方法的应用)，但是面试的时候却又结结巴巴地回答不上来，归根到底还是理解得不够透彻，现在又重新来梳理一遍。
参看了一下知乎上的l1相比于l2为什么容易获得稀疏解的相关答案后，才知道原来这个问题有三种理解，此处就偷个懒转个图了。
稀疏解1
稀疏解—梯度角度
稀疏解—概率分布角度
这里对于"优化角度"的那个PRML上的图进行补充说明，那就是图中黄色的部分表示的其实是 w w w的一个等值曲线，而圆圈代表的是w的一个可行解：
等值曲线

好小的风
关注
  • 3
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习面试题之——简单介绍最小二乘
cuiy0818的博客
07-26 2168
1、常用到的最小二乘场合：最小二乘法直线拟合，最小二乘法多项式（曲线）拟合，机器学习中线性回归的最小二乘法，系统辨识中的最小二乘辨识法，参数估计中的最小二乘法，等等。 2、为什么用最小二乘：相比于绝对值的方法，平方和的方法可以得到更短的距离，使得拟合函数更接近于目标函数。从范数的角度考虑这个问题，绝对值对应的是1范数，最小二乘对应的就是2范数。 3、和梯度下降法比较 相同点：都是在已知数据的...
几何算法面试准备（1）
qq_40690772的博客
03-25 581
齐次坐标能做什么？它是怎么去区分是一个位置，还是一个方向？为什么使用齐次坐标，它有什么好处？原因：在欧氏几何空间，同一平面的两条平行线不能相交。然而，在透视空间里面，两条平行线可以相交。笛卡尔坐标系下（1，2）的齐次坐标可以表示为（1，2，1），如果点（1，2）移动到无限远处，在笛卡尔坐标下它变为(∞,∞)，然后它的齐次坐标表示为（1，2，0），因为(1/0, 2/0) = (∞,∞)，为什么叫齐次坐标？我们把齐次坐标转化为笛卡尔坐标的方法是前面n-1个坐标分量分别除以最后一个分量即可。
最小二乘法
Di_Wong的博客
08-18 481
（面试让我手推最小二乘求解过程。。。面完赶紧回来亡羊补牢。。。） 转载自：http://www.cnblogs.com/pinard/p/5976811.html 最小二乘法的目标：求误差的最小平方和，对应有两种：线性和非线性。线性最小二乘的解是closed-form即，而非线性最小二乘没有closed-form，通常用迭代法（梯度下降法，牛顿法，Levenberg-Marquardt等）...
最小二乘法原理理解
热门推荐
Hello-Adam
05-04 13万+
概念:最小二乘法是一种熟悉而优化的方法。主要是通过最小化误差的平方以及最合适数据的匹配函数。 作用：（1）利用最小二乘法可以得到位置数据（这些数据与实际数据之间误差平方和最小）（2）也可以用来曲线拟合 实例讲解：有一组数据（1，6），（3，5），（5，7），（6，12），要找出一条与这几个点最为匹配的直线 ： y = A + Bx 有如下方程： 6 = A + B 5 = A + 3B ...
lsmin:最小范数最小二乘
04-02
在实际编程实现上，“lsmin-main”可能是一个主程序或者核心函数，负责执行最小范数最小二乘的计算过程。这个程序可能包含了矩阵运算、迭代优化算法（如梯度下降、高斯-牛顿法或者列文伯格-马夸特法）、条件检查等...
Loewner方程组极小范数最小二乘解的快速算法 (2010年)
05-24
对于秩为n的mXn阶Loewne矩阵，通过构造分块矩阵并研究其三角分解，进而得到了求线性方程组的极小范数最小二乘解的快速算法，所需运算量为O（mn）+O（m2），而通常构造法方程组的方法所需运算量为0（m2n）+O（ms），...
具有 2 范数约束的最小二乘：最小化 |A*xb|^2 使得 |x| = cte-matlab开发
05-31
这个问题的标题“具有2范数约束的最小二乘：最小化 |A*xb|^2 使得 |x| = cte-matlab开发”所描述的，就是寻找一个向量x，使得线性系统的残差平方和最小，同时满足x的2范数（即欧几里得范数）为常数。这里的A是一个...
Cauchy型方程组极小范数最小二乘解的快速算法 (2006年)
05-16
对于秩为n的m×n,阶Cauchy型矩阵C，通过构造特殊分块矩阵并研究其三角分解，进而得到了线性方程组Cx=b的极小范数最小二乘解的快速算法，所需运算量为O(mn)+ O(n2)，而通常构造法方程组的方法所需运算量为O(mn2)+O(n3...
一类四元数矩阵方程的反Hermite极小范数最小二乘解 (2009年)
05-19
利用文[YuanSF,LiaoAP,LeiY.Leastsquares Hermitian solution of th ematrixequation(AXB,CXD)=(E,Fwithth eleastnor mover theskewfield of quaternions.Mathematical and Computer Modelling,2008,48:91-100]给出...
最小二范数解
weixin_43490741的博客
02-28 1万+
最小二范数解 子空间投影问题(最小二乘法) 投影向量 b\textbf{b}b向zzz轴和xyxyxy平面投影分别为p1\textbf{p}_{1}p1​和p2\textbf{p}_{2}p2​两个变换矩阵P1\textbf{P}_{1}P1​ 和 P2\textbf{P}_{2}P2​满足如下以上的例子中两个子空间是正交补的。 上面的问题可以描述为，在空间Rn\mathbb{R}^{n}Rn中，...
最小二乘法 正则化 范数
最新发布
windsky___的博客
09-18 139
在目标函数的基础上增加一项，该项称为正则化项或者惩罚项，防止模型过拟合。对差值平方型的目标函数进行优化，求偏导解方程。：各元素绝对值的n次方相加再开n次方。：各元素绝对值平方相加再开二次方。：是各个元素绝对值相加的值。其他范数都可以套公式。
TensorFlow2.0 范数/最大值/最小值/准确度统计
廷益_飞鸟的博客
06-15 1385
TensorFlow2.0 范数/最大值/最小值/准确度统计 import tensorflow as tf import numpy as np print(tf.__version__) 计算范数 # tf.norm 2范数 a = tf.ones([2, 2]) print(tf.norm(a)) a = tf.ones([4, 28, 28, 3]) print(tf.norm(a)) # tf.norm 1 范数 a = tf.ones([2, 2]) # 2范数 维度1 print(t
数学基础（一）——最小二乘法
lvjiyang的博客
06-24 2675
最小二乘法参考： https://blog.csdn.net/weixin_40717096/article/details/80200587 https://endlesslethe.com/easy-to-learn-ols.html ** 线性模型中参数Θ=(XTX)−1XTY的推导过程？???? ** 这里的X是根据训练集的数据构建的一个 [公式] 矩阵，图中有一步没有说明就是 [公式] 。 后面就是矩阵换算了呀：由于 X 不一定是方阵，两边同时乘以X的转置，再对其取逆就是 [公式] 的最终表达式了
鸡尾酒问题，最小二乘法和范数的思考
u010092862的博客
03-20 1329
temporal is 处于动态平衡中，因为任何量都不可能永恒不变。 因为宇宙的本质就是变得，所以每个量在一个区间内变化，而保持系统的平衡。 所以没有唯一的准则，而是在不断的变化，人也相应的调整策略。这就是狐狸。 但是又要和刺猬一样，有一个目标，短期目标不断变化，长期目标也有偏动，但是方向不变。 为目标奋斗。这就是刺猬。 鸡尾酒问题 当前语音识别技术已经可以以较高精度识别一个人所讲的话，但是当...
l2范数求导_最小二乘法（LS算法）：L2范数（计算残差平方和）的一个实际应用,为,具体...
weixin_42355252的博客
12-23 932
【程序3-1】import numpy as npfrom matplotlib import pyplot as pltA = np.array([[5],[4]])C = np.array([[4],[6]])B = A.T.dot(C) #array([[44]])AA = np.linalg.inv(A.T.dot(A))#array([[0.02439024]])l=AA.dot(B) ...
lsqr命令可以得到线性方程的最小范数最小二乘解吗
06-11
是的，"lsqr" 命令可以用于求解线性方程组的最小范数最小二乘解。该命令使用迭代方法来计算最小二乘解，能够在处理大型稀疏线性系统时具有良好的性能。 "lsqr" 命令的使用方法如下： ```matlab x = lsqr(A, b, tol...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值