线性代数三（重点）

最新推荐文章于 2022-11-08 09:56:01 发布

自学AI的鲨鱼儿

最新推荐文章于 2022-11-08 09:56:01 发布

阅读量1.9k

点赞数 2

分类专栏： # AI_数学_线性代数文章标签：线性代数

本文链接：https://blog.csdn.net/qq_16555103/article/details/84862737

版权

AI_数学_线性代数专栏收录该内容

4 篇文章 16 订阅

订阅专栏

① https://blog.csdn.net/qq_16555103/article/details/88378009 ---------- 几个重要的矩阵点积
② $P.A.Q = B$ AB等价、 $P^{-1}.A.P = B$ AB相似、 $P^{T}.A.P = B$ AB 合同。
③ C’C一定是对称矩阵（C’C的转置 == C’C）

一、最小二乘法：

1、矩阵、向量的求导法则：

思路：将前面的项看作一个整体，对后面求导后再展开前面的整体。

①行向量对元素进行求导：

②：列向量对元素进行求导：

③矩阵对元素进行求导：

④元素对行向量进行求导：

⑤元素对列、矩阵：类似上述方法。

1、元素对列向量求导的本质： ① 元素是一个n 元函数 ② 列向量是由n元自变量组成 若元素对列向量求导 = 0列向量  >>>> 
                           等价于 函数对所有自变量偏导 = 0 的线性方程组

⑥列向量对行向量求导、行向量对列向量求导：

⑦列向量对列向量求导、行向量对行向量求导

注意：① 工程上用雅克比矩阵来计算列向量与列向量求导，转化为行向量对列向量求导。

② 行向量与行向量求导转化为列向量对行向量求导。

记忆方法：将分子转置

⑧矩阵对矩阵的求导：将Y看做整体求导后展开。

2、向量导数性质公式：

向量的导数公式：

公式一推导：

3、标量的导数公式：A 是一个方阵。

注意：是一个标量，其值为：二次型 f(x1，x2... xn) 的结果。

4、标量对方阵的导数：

5、最小二乘法：

作用：根据多组的实验数据，找出多个参数 a,b,c .. 与真实结果的近似函数关系。

方法：让多个参数a,b,c .. 同时满足条件实际上一般是不可能的，任何a，b代入上面各式都会发
生误差。于是想找a，b，c 使上面各式的误差的平方和最小，误差的平方即二乘方，故称为最小二乘法。
过程：

①构造方程组：

②构造方程矩阵：A 是系数矩阵 X 是参数矩阵 B是真实值矩阵。

③ 将最小二乘结果转化为列向量 AX - B 的模的平方，求出函数的最小值（极值，对列向量 X 进行求导，）：

④ 结论：

当 $A^{T}.A$ 是可逆矩阵时，则有 $\underset{X}{\rightarrow}$ = $(A^{T}.A)^{^{-1}}.A^{T}.B$
当 $A^{T}.A$ 是不可逆矩阵时，需要以下三种处理方式：
- ①去除多余的特征值（相关性较小的特征）
- ②存在共线性的特征（向量组的秩 = 向量组中最大线性无关向量的个数）
- ③利用 $(A^{^{T}}.A + \lambda.\underset{I}{\rightarrow}).A^{^{T}}.B$ 其中 I 是单位向量，新矩阵 $A^{^{T}}.A + \lambda.\underset{I}{\rightarrow}$ 一定是满秩方阵。

例题：

例二：

二、特征值与特征向量：

理解：矩阵是一个向量组，由许多行向量和纵向量组成。
矩阵方程求解用增广矩阵初等变换化为 E 。齐次/非齐次方程组的解用初等变化化为行最简阶梯型。
初步认为由多元一次方程组的系数组成（区别于矩阵初等变换求解矩阵方程）。矩阵是一种线性变换，可以将一些向量转化为另一种向量。

1、线性方程组求解：

①齐次方程组的解判定：

②非齐次方程组的解判定：

③基础解系与通解的概念：基础解系不是唯一的。

④实例： 求解线性方程组

注意：一定要将增广矩阵转化为行最简阶梯型。

2、特征值和特征向量：

（1）特征值特征向量的定义：

（2）特征值特征向量的计算方法：包含重根

例一：

例二：

（3）特征值特征向量的性质：

三：矩阵的分解：

理解：1、类似数学上的分解因式
     2、

1、海森矩阵：

是一个多元函数的二阶偏导数构成的方阵：

在具体点M0 的海森矩阵：

① 利用海森矩阵求解多元函数极值：

例题：

2、奇异矩阵（不可逆矩阵）：

3、正交矩阵与酉矩阵：

（1）正交向量的定义：

（2）正交矩阵与酉矩阵：它是方阵

正交矩阵与酉矩阵的两个特征：复数的正交矩阵叫酉矩阵

① 列(行)向量都是单位向量。 ② 两两正交。

（3）正交矩阵的性质：

4、QR分解：正交三角分解

前提：矩阵A必须满秩（A可以是方阵，也可以列满秩）。

方法：QR分解要求矩阵A列向量的正交矩阵 Q 与系数上三角矩阵 R。

（1）QR分解的定义：

（2）施密特正交化过程：

（3）QR分解的步骤：

①写出矩阵A所有的列向量

②将列向量施密特正交化

③将上面矩阵单位化得到正交矩阵

④求出正交矩阵转化为矩阵A的系数矩阵R（上三角矩阵）。

例：

5、实对称矩阵的谱分解（SD）：

前提：矩阵 A 必须是实对称矩阵。

方法：SD分解需要求矩阵A的特征值与特征向量。

注意：SD分解时：特征值与特征向量的排序要一一对应。

本质：SD分解的本质是实对称矩阵的对角化 ( 但是SD分解用的是正交矩阵)，即：寻找相似等价标准型。

https://blog.csdn.net/qq_16555103/article/details/84864555#t13 -------- 矩阵的对角化（第十一节）

（1）谱分解（SD）分解的定义：

谱分解的步骤：

第1步: 求特征值
第2步: 求线性无关的特征向量
第3步: ① 检验重特征值对应的特征向量是否正交, 如果不正交,  用施密特过程正交化；
       ② 再把正交的特征向量单位化
第4步: 把求得的规范正交特征向量拼成正交矩阵

例题：

6、奇异值分解（SVD）分解：

前提：矩阵A没有特殊要求

方法：利用矩阵A的hermite矩阵求出所有的特征值与特征向量 >>>>>>>> 求出 △ 和酉矩阵 V ，由V1 求出 U1，在由 U1 扩充出 U。

注意：特征值与特征向量的排序要一一对应；注意V1、U1 与酉矩阵V 、酉矩阵 U的关系。

本质：SVD分解是一种特殊的SD分解，只是将矩阵要求推广到复数域任何矩阵，它的根本目的也是

寻找等价酉相似标准型（由奇异值从大到小排列的对角矩阵）。

（1）SVD分解的定义：

（2）奇异值的定义：

奇异值的特点：必须从大到小排列，且全部大于零（hermite矩阵特征值排列后的平方根）

1、hermite 矩阵：

2、奇异值的定义：

（3）酉等价、酉相似：

（4）SVD分解的方法与步骤：

①求矩阵A 的 hermite 矩阵的酉相似对角矩阵 △ 及酉相似矩阵 V：

具体方法：1）通过hermite矩阵求出所有的特征值和特征向量

2）根据hermite特征值求出矩阵A 的奇异值，再根据每个特征值求出对应的特征向量

3）判断特征向量是否两两正交，否则用 斯密斯正交化将特征向量正交化并化为单位向量，

酉矩阵 V 就是由这些特征向量按照奇异值从大到小的排列顺序的正交化矩阵。

3）将酉矩阵V 用（V1, V2）来写：V1 是奇异值或者特征值 > 0 对应的特征向量，V2 是

由剩余的特征向量组成的。

②剩下的步骤：

例题：

自学AI的鲨鱼儿

关注

2
点赞
踩
13

收藏

觉得还不错? 一键收藏
0
评论
线性代数三（重点）

① https://blog.csdn.net/qq_16555103/article/details/88378009 ----------几个重要的矩阵点积 ② AB等价、 AB相似、 AB 合同。 ③ C’C一定是对称矩阵（C’C的转置 == C’C）一、最小二乘法：1、矩阵、向量的求导法则：思路：...
复制链接

扫一扫