线性代数及其应用 | 第六章 正交性和最小二乘法

最新推荐文章于 2024-06-04 08:00:00 发布
最新推荐文章于 2024-06-04 08:00:00 发布
阅读量3k 收藏 10
点赞数 1
分类专栏： 算法基础题目
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33846054/article/details/102460639
版权

第一章 线性代数中的线性方程组

第六章 正交性和最小二乘法

1.1 线性方程组

在这里插入图片描述
系数矩阵；增广矩阵

对增广矩阵的行初等变换

在这里插入图片描述
行等价：两个矩阵是行等价的，若其中一个矩阵可以经一系列行初等变换成另一个矩阵。
在这里插入图片描述

解集的存在性与唯一性问题

在这里插入图片描述

1.2 行化简与阶梯型矩阵

定义：阶梯型

在这里插入图片描述
在这里插入图片描述

定理1：简化阶梯形矩阵的唯一性

在这里插入图片描述

定义：主元位置 主元列

在这里插入图片描述
对应于主元列的变量：基本变量
其他变量（没有先导元素）：自由变量

定理2：存在于唯一性定理

在这里插入图片描述
线性方程组不相容：推出来0=b，没有解

1.3 向量方程

列向量：仅含一列的矩阵
数乘向量 二维和三维空间中的向量的几何表示 平行四边形法则（向量加法），减法：减向量指向被减向量
在这里插入图片描述

向量的线性组合：向量方程

在这里插入图片描述

向量方程和线性方程组相同解在这里插入图片描述
向量组张成

在这里插入图片描述

1.4 矩阵方程Ax=b

在这里插入图片描述
矩阵A的各列是向量，拆开和向量方程其实一样：

定理3：三种观点看线性方程组：矩阵方程、向量方程或线性方程

在这里插入图片描述
在这里插入图片描述

定理4：本章最有用的命题之一

在这里插入图片描述

矩阵-向量积

在这里插入图片描述

1.5 线性方程组的解集

齐次线性方程组 平凡解和非平凡解

在这里插入图片描述

非齐次线性方程组的解

在这里插入图片描述
相当于Ax=0的解空间平移了向量p得到。

1.7 线性无关

定义：线性组的线性无关和线性相关

在这里插入图片描述

矩阵各列的线性无关

在这里插入图片描述

观察两个向量的线性无关

在这里插入图片描述

定理7：观察多个向量（线性相关集）的特征

在这里插入图片描述

定理8：扁的矩阵总是线性相关

在这里插入图片描述
变量个数>方程个数，总是存在自由变量，必有非平凡解

定理9：零向量的线性相关性

在这里插入图片描述
让零向量的系数不为0即找到了一组非平凡解。

1.8 线性变换

基本概念

在这里插入图片描述
在这里插入图片描述

线性变换
  1. 矩阵的性质
    在这里插入图片描述
  2. 线性变换
    在这里插入图片描述
    矩阵变换都是线性变换。
    线性变换保持向量的加法运算和标量乘法运算
  3. 推论
    在这里插入图片描述

1.9 线性变换的矩阵：如何寻找矩阵A

定理10

在这里插入图片描述
这里A称为线性变换T的标准矩阵。

存在与唯一性问题：满射和单射

在这里插入图片描述
在这里插入图片描述

定理11

在这里插入图片描述
仅有平凡解时Ax=0才只有一个解

定理12

在这里插入图片描述

第二章 矩阵代数

2.1 矩阵运算

定理1 加法 标量

在这里插入图片描述

定义

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

矩阵乘积法则

在这里插入图片描述
在这里插入图片描述

定理2 矩阵乘法性质

在这里插入图片描述

定理3 矩阵转置

在这里插入图片描述
在这里插入图片描述

2.2 矩阵的逆

在这里插入图片描述
因为可逆被认为是一种优良的性质，所以不可逆矩阵很奇异。

定理4 可逆矩阵计算公式

在这里插入图片描述

定理5 可逆矩阵方程的解

在这里插入图片描述

定理6 可逆矩阵的性质

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

初等矩阵

在这里插入图片描述
在这里插入图片描述

定理7

在这里插入图片描述

求A逆的算法

在这里插入图片描述

2.3 可逆矩阵的特征

定理8

在这里插入图片描述
在这里插入图片描述

可逆线性变换

在这里插入图片描述

2.4 分块矩阵

分块矩阵乘法

在这里插入图片描述

定理10 AB的列行展开

在这里插入图片描述

2.5 矩阵因式分解

LU分解

在这里插入图片描述
A可以化简为一个下三角矩阵*和A等价的阶梯型矩阵。

LU分解算法

在这里插入图片描述

2.8 Rn的子空间

在这里插入图片描述
在这里插入图片描述
子空间对加法和标量乘法的运算是封闭的。

矩阵列空间与零空间

在这里插入图片描述
在这里插入图片描述

定理12：零空间是子空间

在这里插入图片描述

子空间的基

在这里插入图片描述

定理13

在这里插入图片描述

2.9 维数与秩

在这里插入图片描述

维数

在这里插入图片描述
在这里插入图片描述

秩和维数的关系

在这里插入图片描述

秩定理

在这里插入图片描述

定理15 基定理

在这里插入图片描述

可逆矩阵定理

在这里插入图片描述

6.1 内积、长度和正交性

内积：

在这里插入图片描述
在这里插入图片描述

定理1：内积性质

在这里插入图片描述

长度：向量的长度的平方=自身与自身的内积

在这里插入图片描述

向量的距离

在这里插入图片描述
注：向量减法，减向量指向被减向量

正交向量

在这里插入图片描述

定理2：勾股定理

在这里插入图片描述

正交补

在这里插入图片描述

定理3：矩阵行向量空间和列向量空间的正交补

在这里插入图片描述

6.2 正交集

正交向量集

在这里插入图片描述

定理4：正交向量集的线性无关性

在这里插入图片描述

正交基

在这里插入图片描述

定理5：正交基下计算系数

在这里插入图片描述

正交投影

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

单位正交集 单位正交基

在这里插入图片描述

定理6 单位正交基矩阵的性质

在这里插入图片描述

定理7：长度不变性 内积不变性

在这里插入图片描述

6.3 正交投影

定理8：正交分解定理

在这里插入图片描述
在这里插入图片描述

正交投影的几何意义

在这里插入图片描述

定理9：最佳逼近定理 正交投影的性质

在这里插入图片描述

定理10：基为单位正交基时的简化形式

在这里插入图片描述

6.4 格拉姆-施密特方法：构造正交基或标准正交基的算法

定理11：格拉姆-施密特方法

在这里插入图片描述
依次减去在已经构造好的正交基上的投影向量，最终张成的空间却不变。标准正交基只需要单位化所有v。

矩阵的QR分解

在这里插入图片描述在这里插入图片描述
Col是A的列向量所张成的空间。为了得到Q，常常需要对A左乘一系列正交矩阵（由格拉姆，施密特方法构造得出）得到一个上三角矩阵（Q），这个过程类似于A左乘一系列初等矩阵最后得到A的LU分解。

6.5 最小二乘问题

在这里插入图片描述
在这里插入图片描述

最小二乘法的解

在这里插入图片描述

定理14

在这里插入图片描述

定理15：A的列不正交时的解

在这里插入图片描述

6.7 内积空间

内积空间

在这里插入图片描述

长度、距离和正交性

在这里插入图片描述
在这里插入图片描述

两个不等式

在这里插入图片描述
在这里插入图片描述

暴走的二萌
关注
  • 1
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
线性代数及其应用：第四章 行列式
Leon_winter的博客
02-17 1376
文章目录第三章 行列式1. 行列式的几何意义2. 行列式的性质2.1. 性质2.1. Binet-Cauchy公式3. 行列式的求解3.1. 利用高斯消去法3.2. 行列式大公式(big formula)3.3. 利用代数余子式展开4. 行列式的应用4.1. 求逆(神经病这么求)4.2. 求Ax=b的解(Cramer's)(神经病这么求)4.3. 求盒子的体积(最精彩的应用)4.4. 求pivot...
第9章 欧几里得空间-11
08-03
在现代数学中，欧几里得空间是一个结合了线性代数和几何学特征的数学结构，特别是在实数域上的线性空间上定义了内积。 一、欧几里得空间的定义： 欧几里得空间（Euclidean Space）是实数域R上的线性空间V，附加了一...
正交最小二乘算法及其应用 (1996年)
05-20
介绍了正交最小二乘法的算法原理，同经典的最小二乘法相比，其数值稳定性好、计算量小，能节省大量存贮空间。应用了Ｈｏｕｓｅｈｏｌｄｅｒ变换、Ｇｉｖｅｎｓ变换和它的逆变换３种算法。根据残差矢量最小准则，将该法用于ＡＲＭＡ模型结构辨识和时变ＡＲ模型参数估计，取得了满意的仿真结果。
最小二乘法以及正交最小二乘(OLS)的推导与简单比较
qq_41332314的博客
10-23 3314
简单记录一下，OLS与LS的推导思想
正交偏最小二乘判别分析（Orthogonal Partial Least Squares Discriminant Analysis, OPLS-DA）
最新发布
weixin_43156294的博客
06-04 2010
正交偏最小二乘判别分析（Orthogonal Partial Least Squares Discriminant Analysis, OPLS-DA）是一种多变量统计分析方法，主要用于分类和特征选择，尤其在代谢组学和组学数据分析中非常有用。OPLS-DA结合了偏最小二乘回归（PLSR）和正交信号校正（OSC）两种技术，旨在区分不同组别的样本，并识别影响组别分类的关键变量。
正交最小二乘法求解NARMAX
zephyr_wang的博客
01-12 885
正交最小二乘法求解NARMAX
005.宋浩老师《线性代数》笔记（第四章线性方程组）
Bili_ice_cube的博客
10-30 4013
宋浩老师《线性代数》笔记（第四章线性方程组） 目录 4.1 线性方程组 4.2 有解的判定 4.3 齐次方程组的解 4.4 线性方程组解的结构 齐次线性方程组解的结构 非齐次线性方程组解的结构 4.1 线性方程组 线性方程组：各个方程关于未知量均为一次的方程组。 非线性方程：因变量与自变量之间的关系不是线性的关系。这类方程很多，例如平方关系、对数关系、指数关系、三角函数关系等等。 4.2 有解的判定 系数矩阵和增广...
【线性代数及其应用】05 - 正交性和最小二乘
qq_41741344的博客
07-30 1029
正交性和最小二乘 文章目录正交性和最小二乘1. 正交向量和子空间1.1 向量正交性的两种证明方法1.2 子空间的正交性1.2.1 行空间和零空间1.2.2 列空间和左零空间1.3 基的正交性2. 投影2.1 一维空间的投影2.1.1 投影求解方法2.1.2 投影矩阵的三大性质2.2 n维空间的投影2.2.1 求解方法2.3 投影矩阵2.3.1 投影必须牢记的三个关系式2.3.2 A^T^*A矩阵的性质3.最小二乘3.1 最小二乘问题的引入--无解方程的近似解3.2 最小二乘的原理3.3 最小二乘求解方法3.
(精校版)数据拟合线性最小二乘法及其应用(householder变换).pdf
11-25
**第六章 应用**则会展示最小二乘法和Householder变换在实际问题中的应用，比如在互联网数据分析中的模型建立、参数估计、异常检测等方面。 总的来说，这份资料详细介绍了数据拟合线性最小二乘法的理论基础，以及...
手眼标定之线性代数知识.zip
05-24
通过学习压缩包中的“第一课 手眼标定之线性代数知识”，你可以深入了解如何应用这些概念解决实际的手眼标定问题。掌握这些线性代数知识，不仅能够帮助你理解手眼标定背后的数学原理，还将使你在实际项目中更加...
线性代数课后习题解答(同济四版)
04-20
线性代数是数学的一个重要分支，主要研究向量、矩阵、线性变换等概念及其在几何、物理学、工程学等多个领域中的应用。同济大学出版的《线性代数》第四版是一本广泛使用的教材，它深入浅出地介绍了线性代数的基本理论...
正则化正交最小二乘法（ROLS)
07-21
这是一个基于正则化的正交最小二乘法（ols）的RBF神经网络算法， 可以处理回归问题和模式识别中的监督分类问题
正交最小二乘
06-17
用MATLAB编写的正交最小二乘算法函数
正交最小二乘法的matlab代码(ols)
05-07
ols，正交最小二乘法的matlab代码，在曲线拟合中可以使用到，有注释。
正交函数作最小二乘拟合(C语言)
10-06
此程序是用c语言实现正交函数作最小二乘拟合
正交最小二乘拟合直线
12-17
正交最小二乘拟合直线，优点：比最小二乘法拟合的直线更准确，正交最小二乘考虑到了xy两个方向的误差，最小二乘只考虑了y方向的误差
《北大版高等代数习题答案(PDF) 》1-9章
10-25
第五章和第六章涉及欧几里得空间和内积，包括长度、角度、正交性以及最小二乘法等。习题通常会要求找一组向量的正交基，或者利用内积进行向量的投影和分解。 第七章和第八章主要讨论二次型，包括二次型的标准形、...
《Linear Algebra and Its Applications》-chaper6-正交性和最小二乘法-基本概念与定理
weixin_30364147的博客
08-22 253
这一章节我们主要讨论定义在R^n空间上的向量之间的关系，而这个关系概括来讲其实就是正交，然后引入正交投影、最佳逼近定理等，这些概念将为我们在求无解的线性方程组Ax=b的最优近似解打下基石. 正交性： 先举个最简单的例子，在平面中，两个二维向量的点乘如果为0，那么我们可判定两个向量互相垂直，那么实际上这两个向量就是R^2向量空间上的一组正交向量。 下面推广到R^n向量空间...
线性代数里的最小二乘法介绍
Reborn Lee
10-13 4463
考虑超定方程组（超定指未知数小于方程个数）： 其中m代表有m个等式，n代表有 n 个未知数  ，m>n ；将其进行向量化后为：     ，  ，  显然该方程组一般而言没有解，所以为了选取最合适的  让该等式"尽量成立"，引入残差平方和函数S （在统计学中，残差平方和函数可以看成n倍的均方误差MSE） 当  时，  取最小值，记作： 通过对  进行微分 [2] ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值