线性方程求解之 二范数类型

最新推荐文章于 2024-07-30 15:45:35 发布
最新推荐文章于 2024-07-30 15:45:35 发布
阅读量3.2k 收藏 1
点赞数
分类专栏： 图形学 文章标签： 线性方程-二范数-求
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011520133/article/details/50095343
版权
本文介绍了当线性方程组过定（m>n）时，如何通过最小化二范数来求解。在这种情况下，我们解决的是一个优化问题：minx∥Ax−b∥2，其导数形式为ATAx−ATb=0。通过求解x=(ATA)−1ATb，我们得到原方程的近似解，这在A非方阵且无逆时尤为有用。
摘要由CSDN通过智能技术生成

求解线性系统
在线性代数中我们经常需要求解具有m个方程 ，n 个 未知量的问题。这个问题可以以简洁的形式 表示为
Ax=b
其中 A 是一个 m×n ， x 是一个长度为n的向量（如不特别强调，都是列向量） ， b 是一个长度为m 的向量。如果 m=n ，并且 满秩（各行向量或列向量线性无关） ，则这个线性方程的解为 x=A−1b
那如果 m>n ?这意味着什么？
事实上，实际问题中常常碰到的是 m>n 的情况 ，这时我们方程的数量大于未知数的数量，这样我们面对的是一个over-determined 系统的求解问题。每个方程典型上包含噪声，或者是不正确的观察。在这样的情形下，我们尝试求解的是下面的最优化问题。
minx∥Ax−b

最低0.47元/天 解锁文章
kaluotee
关注
专栏目录
2-范数概念及Python计算演示
计算机视觉之光
02-22 3093
2-范数（Euclidean norm），也常称为“欧几里得范数”，是在向量空间中衡量向量大小的一种方法。在数学上，对于一个实数或复数向量，2-范数定义为其各元素的平方和的平方根。对于一个n维向量( \vec{x} = [x_1, x_2, …, x_n] )，其2-范数可以表示为：2-范数提供了一个度量，即从原点到向量表示点的直线距离，这也是在欧几里得空间中最直观的长度概念。
次梯度与次微分
omadesala的专栏
12-31 1万+
次梯度与次微分 问了看懂为什么在logistic regression 里面加上正则化可以约束待估计的参数的稀疏性，需要对凸优化方法里面的部分知识，现在记录一下这方面的内容 既然是凸优化，首先就要有一个凸函数，看下面的定义 设是一个凸函数，并且 是一个凸集。如果f是可微的，那么可以得到下面的表达式： 其中， ,表示在的微分，可以看出，不等式右边其实就是普通的一阶微分的近似表示，那么
什么是2范数、1范数、∞范数？
最新发布
weixin_44114030的博客
07-30 1229
例如，2范数常用于计算向量之间的欧几里得距离，1范数用于优化问题中的稀疏性约束，而无穷范数则用于测量向量中最大分量的影响。在数学和线性代数中，范数（Norm）是一种测量向量大小或长度的工具。1范数，也称为曼哈顿范数或绝对值和范数，表示向量各元素绝对值的总和。2范数，也称为欧几里得范数，表示向量在欧几里得空间中的长度。无穷范数，也称为最大范数，表示向量各元素绝对值中的最大值。这种范数测量的是向量中最大分量的绝对值。这种范数测量的是向量分量绝对值的总和。这种范数测量的是向量的欧几里得距离。
次微分（subdifferential）
欢迎来到道的世界
10-16 4481
定义1（次微分）给定开集Ω⊂Rd\Omega \subset \mathbb{R}^dΩ⊂Rd和凸函数u:Ω→Ru:\Omega \rightarrow \mathbb{R}u:Ω→R，对任意的x∈Ωx\in \Omegax∈Ω，定义uuu在点xxx的次微分（subdifferential）为∂u(x):={p∈Rd:u(z)≥u(x)+⟨p,z−x⟩,∀z∈Ω}.\partial u(x):=\{p\in \mathbb{R}^d:u(z)\ge u(x)+\langle p, z-x\rangle, .
机器学习基础（六十一）—— 范数及范数的微分
05-01 8590
ℓ1\ell_1 范数的微分λ∥s∥1 \lambda \|s\|_1 ℓ1\ell_1 范数在 0 点不可微会影响梯度方法的应用。解决方案： （1）非梯度方法 （2）“平滑” ℓ1\ell_1 范数使用 x2+ϵ−−−−−√\sqrt{x^2+\epsilon}来代替 |x||x|，对ℓ1\ell_1 范数进行平滑，其中 ϵ\epsilon 是平滑参数（“smoothing parameter
矩阵范数的次微分the subdifferential of some Matrix Norms
janehong1314的博客
12-11 5005
 方向导数      函数  在  处，方向 的方向导数：                                                   当方向导数 关于 线性的，即,那么我们称  在 这一点 Gâteaux differentive，并且 导数.。 次梯度与次微分        令  是一个凸的且合适的函数，即  （域空间非空），在 , 如果 满足，对任意,   ...
l1nls:Matlab 和 Python 求解器，可找到最小 L1 范数的线性方程组的解
07-01
找到线性方程组的最小 1-范数解的 Matlab 和 Python 求解器，即求解以下优化问题： min. ||x||_1 s.t. A x = b Python 版本使用 PuLP 来解决底层线性规划。
2-LS.zip_最小二乘法求解线性方程组_线性方程组
09-21
标题“2-LS.zip_最小二乘法求解线性方程组_线性方程组”表明我们将探讨如何利用最小二乘法来解决线性方程组问题，而描述中的“方程组用于位置参数辨识”则提示我们这个方法可能在定位或数据拟合等问题中发挥作用。...
Hilbert矩阵的病态问题及线性方程数值求解.docx
11-13
Hilbert 矩阵的病态问题及线性方程数值求解 Hilbert 矩阵是一种数学变换矩阵，正定，且高度病态，任何一个元素发生一点变动，整个矩阵的行列式的值和逆矩阵都会发生巨大变化，病态程度和阶数相关。其形式为：考虑...
线性方程组的类型及求解（一）（备份草稿）
SJTU1996的博客
12-01 3347
本专题总结和归纳了本学期笔者所学的《矩阵理论》和《数值分析》课程中，可以用来求解线性方程组的方法和技巧。 目录 预备工作 一. Gramer法则 二. 高斯消元法 三. 矩阵分解法 三角分解 1.1 形式一：满秩方阵 1.1.1 QR分解 1.1.2 LU分解 1.1.3 Cholesky分解 1.2 形式二: 行满秩矩阵 1.2.1 QR分解 1.2.2 LU分解 1.3 形式三: 列满秩矩阵...
对范数求偏导数
lilong117194的博客
09-24 1万+
首先介绍点基础知识，另一方面也算是巩固下： A−1A^{-1}表示A的逆矩阵; ATA^T表示A的转置; AHA^H表示Hermitian矩阵(A的共轭转置矩阵A∗==A)基础（1）迹（Trace）eig(A)表示A的特征值（2）行列式（Determinant）（3）特例2*2矩阵以上是摘自：The Matrix Cookbook 也可参考维基百科：Matrix calculusL1范数的次
矩阵L2,1范数及矩阵L2,p范数的求导
热门推荐
云水禅心的博客
03-24 6万+
常见的矩阵范数有L1，L2，∞\infty范数，F范数和引申出的L2,1范数。而在机器学习的特征选择中，利用选择矩阵的范数对选择矩阵进行约束，即是正则化技术，是一种稀疏学习。L0L_{0}，L1L_{1}向量范数 L0L_{0} 范数L0L_{0} 范数是指向量vv中的非0的个数，是一种度量向量稀疏性的表示方法。例如：v=[0,1,1,0,0,1]v=[0,1,1,0,0,1]，那么∥v∥0=3\p
（最优化理论与方法）第二章最优化所需基础知识-第八节：次梯度
快乐江湖的博客
11-08 2247
次梯度定义：设fff为适当凸函数，xxx为定义域domfdom fdomf中的一点，若向量g∈Rng\in R^{n}g∈Rn，满足f(y)≥f(x)+gT(y−x),∀y∈domff(y)≥f(x)+gT(y−x),∀y∈domf则称ggg为函数fff在点xxx的一个次梯度。进一步地，称集合∂f(x)={g∣g∈Rn,f(y)≥f。
二次优化问题dfp_最优化方法复习笔记（六）共轭梯度法
weixin_39782500的博客
01-05 1983
哈，没想到呀，写CG的手感这么好。一天就写了1w字，美汁汁。好啦好啦，copy完本地的markdown就去写欠课题组的模型啦（摸了）事实是，数据结构课设没写完+毛概没复习的我可能会和舍友来一场CS欢乐赛。不会有人觉得CS是computer science的简称吧。不会吧，不会吧。（当然，希望导师这么认为>_<）目录（传统艺能）回顾梯度下降法共轭方向hook从正交到共轭二次型的共轭方向怎...
二次范数的最速下降方法理解与分析
wuchuankang的博客
07-14 4034
最近在看Stephen Boyd的《凸优化》，对其中采用二次范数的最速下降方法，书中没有详细的推导，现分析如下，本人水平有限，如有错误，欢迎指正！首先对二次范数的定义和对偶范数进行说明1. 二次范数的定义对于，P的二次范数如下：推导如下：2. 二次范数的对偶范数即是：对于给定的z和P，方向大小已定，要使上式內积最大，要和方向一致，且3. 二次范数的规范化的最速下降方法...
机器学习最优化方法[3]--约束优化
tangdawei2010的博客
12-30 1776
约束优化1、拉格朗日乘子法 1、拉格朗日乘子法
L1和L2范数
老码侬的博客
01-23 2556
L1、L2范数详解
l2范数求导_向量的L2范数求导
weixin_31856441的博客
12-23 2277
回归中最为基础的方法, 最小二乘法.\[\begin{align*}J_{LS}{(\theta)} &= \frac { 1 }{ 2 } { \left\| A\vec { x } -\vec { b } \right\| }^{ 2 }\quad \\\end{align*}\]向量的范数定义\[\begin{align*}\vec x &= [x_1,\cdots,x_...
如何求线性方程组的最小范数解
07-08
要求线性方程组的最小范数解，可以使用奇异值分解（Singular Value Decomposition，SVD）方法。下面是求解线性方程组最小范数解的步骤： 1. 将线性方程组表示为矩阵形式：Ax = b，其中A是系数矩阵，x是未知向量，b是常数向量。 2. 对系数矩阵A进行奇异值分解：A = UΣV^T，其中U和V是正交矩阵，Σ是对角矩阵。 3. 将线性方程组表示为奇异值分解的形式：UΣV^Tx = b。 4. 由于U和V是正交矩阵，它们的转置等于它们的逆。因此，可以将方程组重写为：ΣV^Tx' = U^Tb，其中x'是新的未知向量。 5. 由于Σ是对角矩阵，可以通过将对角线上的非零元素取倒数，并将其他元素设为零来计算Σ的伪逆Σ⁺。 6. 计算新的未知向量x'：x' = VΣ⁺U^Tb。 这样就得到了线性方程组的最小范数解x'。 以下是使用NumPy库来求解线性方程组最小范数解的示例代码： ```python import numpy as np # 定义线性方程组的系数矩阵 A 和常数向量 b A = np.array([[1, 2], [3, 4], [5, 6]]) b = np.array([1, 2, 3]) # 进行奇异值分解 U, S, Vt = np.linalg.svd(A) # 计算伪逆矩阵 S_pseudo_inv = np.zeros((A.shape[1], A.shape[0])) S_pseudo_inv[:A.shape[1], :A.shape[1]] = np.linalg.inv(np.diag(S)) # 计算最小范数解 x_prime = Vt.T @ S_pseudo_inv @ U.T @ b # 打印最小范数解 print("线性方程组的最小范数解为:", x_prime) ``` 在这个示例中，我们使用`np.linalg.svd`函数对系数矩阵A进行奇异值分解，得到正交矩阵U、对角矩阵Σ和正交矩阵V的转置。然后，我们计算Σ的伪逆矩阵S_pseudo_inv，以及最小范数解x_prime。最后，我们打印出最小范数解。 如果你有任何其他问题，请随时提问。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值