机器学习笔记 - Moore-Penrose 伪逆

最新推荐文章于 2024-02-04 21:48:45 发布
最新推荐文章于 2024-02-04 21:48:45 发布
阅读量830 收藏
点赞数
文章标签： 机器学习 笔记 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/PlHtml/article/details/133024470
版权
本文介绍了Moore-Penrose伪逆在机器学习中解决线性回归问题的作用，特别是在数据集有冗余或线性相关性时。通过奇异值分解，我们可以计算矩阵的伪逆，并用Python的NumPy库进行演示。这个方法广泛应用于各种机器学习任务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在机器学习中，伪逆（Pseudoinverse）是一种用于求解线性回归问题的数学工具。当数据集存在冗余或线性相关性时，矩阵可能不可逆，而伪逆则提供了一种逼近解的方法。本文将介绍Moore-Penrose伪逆，它是一种常用的伪逆求解方法。

Moore-Penrose伪逆是由E. H. Moore和A. Penrose于1920年和1955年分别独立提出的。它是一种通过将矩阵分解为奇异值分解（Singular Value Decomposition, SVD）的形式来求解矩阵的伪逆的方法。奇异值分解将矩阵分解为三个矩阵的乘积：A = UΣVT，其中U和V是正交矩阵，Σ是对角矩阵。Moore-Penrose伪逆可以通过奇异值分解来表示为A+ = VΣ+UT，其中Σ^+是Σ的伪逆。

下面我们将使用Python来演示如何使用Moore-Penrose伪逆进行线性回归。

首先，我们需要导入必要的库，如NumPy：

import numpy as np

接下来，我们定义一个包含输入特征的矩阵X和相应的目标变量的向量y。这里我们使用一个简单的示例来说明：</

了解本专栏 订阅专栏 解锁全文
学习笔记DL007:Moore-Penrose伪逆，迹运算，行列式，主成分分析PCA
利炳根
11-23 983
Moore-Penrose伪逆(pseudoinverse)。非方矩阵，逆矩阵没有定义。矩阵A的左逆B求解线性方程Ax=y。两边左乘左逆B，x=By。可能无法设计唯一映射将A映射到B。矩阵A行数大于列数，方程无解。矩阵A行数小于列数，矩阵有多个解。矩阵A的伪逆A + =lim a->0 (A T A+aI) -1 A T。计算伪逆公式，A + =VD + U T。矩阵U、D、V是矩阵A奇异值分解得到
Moore-Penrose伪逆
weixin_46744571的博客
10-04 857
Moore-Penrose伪逆 参考材料：《深度学习》2.9 Moore-Penrose伪逆 Moore-Penrose伪逆（Moore-Penrose pseudoinverse）： A+=limα↘0(ATA+αI)−1AT A^+=lim_{\alpha \searrow 0} (A^TA+\alpha I)^{-1}A^T A+=limα↘0​(ATA+αI)−1AT 伪逆的实际算法 A+=VD+UT A^+=VD^+U^T A+=VD+UT 其中，U、D、V是A奇异值分解后得到的矩阵。D+是
【线性代数】Moore-Penrose 伪逆
北境の守望者
08-02 4084
提到矩阵的逆，其背景是我们要求解线性方程 Ax=yAx=y\bf Ax = y, 如果 矩阵AA\bf A有逆矩阵的话，那么 x=A−1yx=A−1y\bf x = A^{-1}y, 解起来，轻松加愉快。但问题是，想要 A−1A−1A^{-1}存在且能求出来，这个条件太苛刻了。 如果 AAA 的行数大于列数，那么方程可能没有解 如果 AAA 的行数小于列数，那么方程可能有无数多个...
Moore-Penrose 伪逆
weixin_30647065的博客
11-22 720
1.Moore-Penrose 伪逆（Moore-Penrose pseudoinverse）　　 　　矩阵 A 的伪逆定义为：　　 　　A + = lima↘0 (A⊤ A + αI) −1 A ⊤ . 　　计算伪逆的实际算法没有基于这个定义，而是使用下面的公式：　　　　A + = VD + U ⊤ 　　其中，矩阵 U，D 和 V 是矩阵 A奇异值分解后得到的矩阵。对角矩阵 D 的伪逆D...
Moore-Penrose伪逆（Moore-Penrose广义逆）
狂想者
05-14 1万+
Moore-Penrose伪逆（Moore-Penrose广义逆）
Moore-Penrose 广义逆/伪逆 （The Moore-Penrose Pseudoinverse）
hoz_521的博客
10-25 2789
矩阵求逆运算一般是对于方阵而言，矩阵求逆没有对非方阵定义。非方阵求逆会给我们带来很多便捷，假设我们得到矩阵A的左逆矩阵B，对于线性方程组Ax=y，我们可以这样求得：x=By；根据问题的结构，有可能无法设计一个从A到B的单一映射。 如果矩阵A更高（行数m大于列数n，即未知数的约束方程可能大于未知数的数目），那么这个方程就有可能没有解。如果矩阵A更宽（行数m小于列数n，即未知数的约束方程一定大于未知数的数目），那么就有多种解 。在这些情况下，Moore-Penrose伪逆允许我...
花书读书笔记（一）-线性代数（奇异值分解、伪逆、PCA）
scu-liu的博客
01-15 1101
全部笔记的汇总贴：《深度学习》花书-读书笔记汇总贴 一、标量、向量、矩阵和张量 二、矩阵和向量相乘 三、单位矩阵和逆矩阵 四、线性相关和生成子空间 五、范数 六、特殊类型的矩阵和向量 七、特征分解 以上相关概念就直接看课本了。 八、奇异值分解 奇异值分解是将矩阵AAA分解成三个矩阵的乘积： A=UDVTA=UDV^TA=UDVT 假设AAA是一个m∗nm*nm∗n的矩阵，那么UUU是一个m∗mm*mm∗m的矩阵，DDD是一个m∗nm*nm∗n的矩阵，VVV是一个n∗nn*nn∗n的矩阵。 矩阵UUU和VVV
2020-1-29 深度学习笔记5 - 机器学习基础（构建机器学习算法）
weixin_42555985的博客
02-28 1110
第5章 机器学习基础 https://exacity.github.io/deeplearningbook-chinese/Chapter5_machine_learning_basics/ 学习算法 机器学习算法是一种能够从数据中学习的算法。 所谓学习是指，对于某类任务T和性能度量P，一个计算机程序被认为可以从经验E中学习是指，通过经验E改进后，它在任务T上由性能度量P衡量的性能有所提升。 【任...
Moore-Penrose Pseudo-Inverse Rank-1 更新：Moore-Penrose 伪逆的 rank-1 更新-matlab开发
05-29
实值矩阵的 Moore-Penrose 伪逆的 1 级更新函数
Moore-Penrose 伪逆与 Hadamard 乘积
最新发布
m0_60388871的博客
02-04 691
Moore-Penrose 伪逆是一种矩阵的广义逆，通常用于处理矩阵不可逆或奇异的情况。给定一个矩阵A，其Moore-Penrose 伪逆通常表示为A⁺。
Ｍoore-Penrose伪逆
Vic_Hao的博客
05-15 2344
对于非方阵而言，其逆矩阵没有定义。假设在下列问题中，我们希望通过矩阵AA\textit{A}的左逆BB\textit{B}来求解线性方程， Ax=yAx=y\textit{A}\textit{x}=\textit{y} 等式两边左乘左逆BB\textit{B}后，我们得到， x=Byx=By\textit{x}=\textit{B}\textit{y} 取决于问题的形式，我们可能无法设计一...
8.9 Moore-Penrose伪逆
很嗨
07-26 2529
对于非方矩阵而言，其逆矩阵没有定义。假设在下面的问题中，我们希望通过矩阵AA的左逆BB来求解线性方程， Ax=yAx=y 等式两边左乘左逆B后，我们得到 x=Byx=By 取决于问题的形式，我们可能无法设计一个唯一的映射将AA映射到BB。 　　如果矩阵AA的行数大于列数，那么上述方程可能没有解。如果矩阵AA的行数小于列数，那么上述矩阵可能有多个解。
机器学习中的数学——Moore-Penrose伪逆
冯·诺依曼
10-01 1万+
分类目录：《算法设计与分析》总目录 对于非方矩阵而言，其逆矩阵没有定义。假设在下面的问题中，我们希望通过矩阵AAA的左逆BBB来求解线性方程： AX=yAX=yAX=y 等式两边左乘左逆BBB后，我们得到： x=Byx=Byx=By 取决于问题的形式，我们可能无法设计一个唯一的映射将AAA映射到BBB。如果矩阵AAA的行数大于列数，那么上述方程可能没有解。如果矩阵AAA的行数小于列数，那么上述矩阵可能有多个解。 Moore-Penrose伪逆使我们在这类问题上取得了一定的进展。矩阵AAA的伪逆定义为： A
Moore–Penrose pseudoinverse
热门推荐
zealfory
08-24 2万+
摩尔－彭若斯广义逆 在数学，特别是在线性代数中，一个矩阵的伪逆是广义的逆矩阵。其中最著名的伪逆要属摩尔－彭若斯广义逆 A+（Moore–Penrose pseudoinverse）。早在1903年，埃里克伊姆（Erik Ivar Fredholm）就引入了积分算子的伪逆的概念。之后摩尔－彭若斯广义逆先后被以利亚金·黑斯廷斯·摩尔（Eliakim Hastings Moore）（1920年）、阿恩·
Moore–Penrose伪逆
思维缜密的博客
04-05 672
设A∈Cm×n\mathbf{A}\in\mathbb{C}^{m\times n}A∈Cm×n,若存在n×mn\times mn×m的矩阵G\mathbf{G}G,同时满足 (1)AGA=A\mathbf{AGA}=\mathbf{A}AGA=A (2)GAG=G\mathbf{GAG}=\mathbf{G}GAG=G (3)AGH=AG\mathbf{AG}^H=\mathbf{AG}AGH=AG (4)GAH=GA\mathbf{GA}^H=\mathbf{GA}GAH=GA 则称G\mathbf{G
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值