线性代数基础知识

线性代数基础知识

2021年6月21号星期一,今天早上我做线性代数的练习做的很生气,为什么?因为它昨天还在说齐次线性方程组,今天就猛地一下换到了二次型还是啥玩意,六道题,几乎每道都看不太懂,本来想总结一下多元微分方程的内容,不得已,现在来梳理一下线代二次型的内容吧

正交矩阵

  1. $ A^T A=AA^T=E $

  2. $ A{-1}=A{T} $

  3. $ |A|=\pm 1 $

  4. A的行(列)向量都是单位向量且两两正交

实对称矩阵

  1. 可相似对角化
  2. 属于不同 λ \lambda λ对应的 α \alpha α相互正交
  3. Q − 1 Q^{-1} Q1 AQ= Q T Q^T QT AQ= Λ \Lambda Λ,Q为正交阵

正交化

施密特正交化

向量组 α 1 , α 2 , α 3 \alpha_1,\alpha_2,\alpha_3 α1,α2,α3线性无关

标准正交化:

β 1 = α 1 \beta_1=\alpha_1 β1=α1

β 2 = α 2 − ( α 2 , β 1 ) ( β 1 , β 1 ) β 1 \beta_2=\alpha_2-\frac{(\alpha_2,\beta_1)}{(\beta_1,\beta_1)}\beta_1 β2=α2(β1,β1)(α2,β1)β1

β 3 = α 3 − ( α 3 , β 1 ) ( β 1 , β 1 ) β 1 − ( α 3 , β 2 ) ( β 2 , β 2 ) β 2 \beta_3=\alpha_3-\frac{(\alpha_3,\beta_1)}{(\beta_1,\beta_1)}\beta_1-\frac{(\alpha_3,\beta_2)}{(\beta_2,\beta_2)}\beta_2 β3=α3(β1,β1)(α3,β1)β1(β2,β2)(α3,β2)β2

β 1 , β 2 , β 3 \beta_1,\beta_2,\beta_3 β1,β2,β3正交向量组

单位化

η 1 = β 1 ∣ β 1 ∣ \eta_1=\frac{\beta_1}{|\beta_1|} η1=β1β1

以此类推, η 1 , η 2 , η 3 \eta_1,\eta_2,\eta_3 η1,η2,η3标准正交向量组

对角化操作步骤

  1. 求特征值和特征向量
  2. 线性无关向量的个数 ⟶ \longrightarrow 是否可对角化
  3. 特征向量按列排列,得到U,则有 U T U^T UTAU~ Λ \Lambda Λ
  4. 矩阵A通过U转换到另一个坐标系,成为A~ Λ \Lambda Λ,主对角线全为特征值

正交单位化步骤

  1. 通过特征方程求特征值
  2. 对每个重特征根求解齐次线性方程组
  3. 施密特正交化(只有重根出来的特征向量才需要正交化,不是重根的禁止正交化)
  4. 单位化,即可实现 Q − 1 Q^{-1} Q1AQ= Q T Q^T QTAQ= Λ \Lambda Λ

对角化和正交单位化的区别:没有区别,都可以实现 U − 1 U^{-1} U1AU= Λ \Lambda Λ Q − 1 Q^{-1} Q1AQ= Q T Q^T QTAQ= Λ \Lambda Λ,结果根据matlab计算相同

实对称矩阵特殊的地方在于,它的不同特征值对应的特征向量天生就是正交的,例如一个重根特征值所对应的特征向量可能大于一个,那么特征值对应的特征向量就是 k 1 α 1 + k 2 α 2 k_1\alpha_1+k_2\alpha_2 k1α1+k2α2,它跟 k 3 α 3 k_3\alpha_3 k3α3正交

它也特殊在Q是一个特殊的U,Q的每个列向量都互相正交,且长度为1,那么Q就是标准正交基组成的正交矩阵,当我们想要许多U里的一个Q的时候(因为正交矩阵很好?),我们才会去正交单位化

二次型表达式

长这样: x 1 2 + x 1 x 2 + x 1 x 3 + x 2 2 x_1^2+x_1 x_2+x_1 x_3+x_2^2 x12+x1x2+x1x3+x22不多想,这就是二次型表达式

正交变换下的标准型

标准型即平方和

表达式里就只有 y 1 2 + y 2 2 y_1^2+y_2^2 y12+y22这样的东西

规范型矩阵

规范型指标准型的表达式中,系数只有1,-1,0

正定

一般的说法是

二次型 x T A x x^T Ax xTAx正定    ⟺    \iff

  1. 存在向量x不为零,恒有 x T A x x^T Ax xTAx>0
  2. A的特征值全大于0
  3. 正惯性指数p=n
  4. A与E合同,即有可逆矩阵C使A= C T C C^T C CTC
  5. A的顺序主子式全大于0

必要条件(以下内容可推正定): a i i > 0 和 ∣ A ∣ > 0 a_{ii}>0和|A|>0 aii>0A>0

对角矩阵

[ a 0 0 ⋯ 0 b 0 ⋯ 0 0 c ⋯ ⋮ ⋮ ⋮ ] \left[\begin{matrix}a& 0& 0& \cdots \\0& b& 0& \cdots \\0& 0& c& \cdots \\\vdots & \vdots & \vdots\end{matrix} \right] a000b000c

就长上边这样,rnm这矩阵也太难打了,这辈子都不想打几次

相似

跟正交矩阵有点类似, P − 1 A P = B P^{-1}AP=B P1AP=B,则AB相似,写作A~B, 如果A~ Λ \Lambda Λ,那么 Λ \Lambda Λ是A的相似标准型

相似的必要条件

  1. 特征多项式相同, ∣ λ E − A ∣ = ∣ λ E − B ∣ |\lambda E-A|=|\lambda E-B| λEA=λEB
  2. 相同
  3. 行列式相同=特征值的积相同
  4. 特征值相同
  5. 迹相同=主对角线元素之和相同=特征值之和= α T α \alpha^T\alpha αTα

其中, α T α 为 主 对 角 线 元 素 之 和 , α α T 为 矩 阵 , α 为 列 向 量 \alpha^T\alpha为主对角线元素之和,\alpha\alpha^T为矩阵,\alpha为列向量 αTα线ααTα

对角化

就是写成对角阵,主对角线上全为特征值的样子,不要随便提一整行的系数出去,矩阵不是这样计算的,行列式才是

《机器学习线性代数基础》是一本介绍机器学习与线性代数基础知识的PDF,内容丰富且易于理解。 线性代数是机器学习中必不可少的基础知识之一。它提供了描述和处理向量、矩阵以及线性方程组的工具和方法。《机器学习线性代数基础》这本PDF详细介绍了线性代数的相关概念和方法,并结合机器学习的应用场景进行说明和实践。 PDF的内容主要包括以下几个方面: 1. 向量和矩阵的基本概念和运算:介绍了向量和矩阵的定义、加法、乘法等基本运算,以及线性相关性的判定等内容。 2. 矩阵的分解:介绍了特征值和特征向量、奇异值分解等矩阵的分解方法,以及它们在机器学习中的应用。 3. 线性变换和线性方程组:讲解了线性变换和线性方程组的相关概念和求解方法,以及它们在机器学习中的应用。 4. 向量空间和基底:介绍了向量空间的概念、基底和维数的定义,以及它们在机器学习中的应用。 5. 线性代数在机器学习中的应用:通过实际的机器学习案例,展示线性代数在特征选择、降维、回归分析等问题中的应用。 这本PDF适合初学者和对线性代数和机器学习感兴趣的人阅读。通过学习《机器学习线性代数基础》,可以帮助读者建立起对线性代数的基本理解和应用能力,并为进一步深入学习机器学习打下坚实的数学基础。总而言之,这本PDF是学习机器学习和线性代数的一本很好的参考资料。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值