作者水平有限，欢迎大家提出文中错误
对称矩阵
对称矩阵
A
=
A
T
A=A^T
A=AT，其特征值都是实数，且其特征向量是相互正交的（严格来说是可以找到一组相互垂直的特征向量）
A
x
=
λ
x
Ax=\lambda x
Ax=λx
取共轭(其中
A
=
A
ˉ
A=\bar A
A=Aˉ)
A
x
ˉ
=
λ
ˉ
x
ˉ
A \bar x= \bar \lambda \bar x
Axˉ=λˉxˉ
取转置(其中
A
T
=
A
A^T=A
AT=A)
x
ˉ
T
A
=
λ
ˉ
x
ˉ
T
\bar x^T A=\bar \lambda \bar x^T
xˉTA=λˉxˉT
两边同乘
x
x
x
x
ˉ
T
A
x
=
x
ˉ
T
λ
ˉ
x
=
x
ˉ
T
λ
x
\bar x^T Ax= \bar x^T\bar \lambda x=\bar x^T\lambda x
xˉTAx=xˉTλˉx=xˉTλx
x
ˉ
T
x
=
l
e
n
g
t
h
2
(
x
ˉ
)
>
0
\bar x ^T x=length^2(\bar x)>0
xˉTx=length2(xˉ)>0，所以
λ
=
λ
ˉ
(
λ
i
s
r
e
a
l
!
)
\lambda=\bar \lambda(\lambda\ is\ real!)
λ=λˉ(λ is real!)
同理，反对称矩阵
A
=
−
A
T
A=-A^T
A=−AT，其特征值都是纯虚数
对称矩阵的对角化
对于一般矩阵
A
A
A，
A
=
S
Λ
S
−
1
A=S\Lambda S^{-1}
A=SΛS−1。
对于对称矩阵存在标准正交的特征向量矩阵
Q
Q
Q，而对于标准正交矩阵
Q
Q
Q，有
Q
−
1
=
Q
T
Q^{-1}=Q^T
Q−1=QT，所以如果
A
=
A
T
A=A^T
A=AT
A
=
Q
Λ
Q
T
A=Q\Lambda Q^T
A=QΛQT
对称矩阵的特征值特征向量，以及其对称性在上式均有体现。
进一步分解
A
=
λ
1
q
1
q
1
T
+
λ
2
q
2
q
2
T
+
⋯
+
λ
n
q
n
q
n
T
A=\lambda_1q_1q_1^T+\lambda_2q_2q_2^T+\dots+\lambda_nq_nq_n^T
A=λ1q1q1T+λ2q2q2T+⋯+λnqnqnT
注意到，
q
i
q
i
T
q_iq_i^T
qiqiT是一个投影矩阵，所以每个对称矩阵都是相互正交的投影矩阵的线性组合。
正定性
对于对称矩阵
#
p
o
s
i
t
i
v
e
p
i
v
o
t
s
=
#
p
o
s
i
t
i
v
e
e
i
g
e
n
v
a
l
u
e
s
\# \ positive\ pivots=\# \ positive\ eigenvalues
# positive pivots=# positive eigenvalues
#
n
e
g
a
t
i
v
e
p
i
v
o
t
s
=
#
n
e
g
a
t
i
v
e
e
i
g
e
n
v
a
l
u
e
s
\# \ negative\ pivots=\# \ negative\ eigenvalues
# negative pivots=# negative eigenvalues
所有特征值都是正值的对称矩阵被称为是正定的
所有特征值都是负值的对称矩阵被称为是负定的
一些特征值是正值且一些为0的矩阵被称为是半正定的
一些特征值是负值且一些为0的矩阵被称为是半负定的
正定矩阵判据
- 所有特征值都是正值的对称矩阵
- 所有子行列式都是正值的对称矩阵
- 所有主元都是正值对称矩阵
- x T A x > 0 , x ≠ 0 x^TAx>0,x\not= 0 xTAx>0,x=0
正定矩阵的性质
如果
A
,
B
A,B
A,B是正定矩阵，那么
6.
A
B
AB
AB是正定矩阵
7.
A
+
B
A+B
A+B是正定矩阵
正定性与最小二乘法
对任意列满秩矩阵
A
m
∗
n
A_{m*n}
Am∗n，
A
T
A
A^TA
ATA是正定的
证明
首先
A
T
A
A^TA
ATA是对称矩阵。
x
T
A
T
A
x
=
(
A
x
)
T
(
A
x
)
=
∥
A
x
∥
>
0
,
i
f
x
≠
0
x^TA^TAx=(Ax)^T(Ax)=\left\|Ax\right\|>0,if\ x\not=0
xTATAx=(Ax)T(Ax)=∥Ax∥>0,if x=0
注意，只有
A
A
A列满秩的时候，即
N
(
A
)
=
{
0
}
N(A)=\{0\}
N(A)={0}的时候，
A
T
A
A^TA
ATA才是正定的。
二次型
由于同正定性的不同矩阵只是图形的偏心率和姿态有所不同，所以这里先只讨论标准情况，对于对称矩阵
A
2
∗
2
A_{2*2}
A2∗2，将绘制二次型图像
z
=
x
T
A
x
z=x^TAx
z=xTAx
A
=
[
1
0
0
1
]
,
(
A
i
s
p
o
s
i
t
i
v
e
d
e
f
i
n
i
t
e
)
A= \left[ \begin{matrix} 1 & 0\\ 0 & 1\\ \end{matrix} \right],(A\ is \ positive\ definite)
A=[1001],(A is positive definite)
A
=
[
1
0
0
0
]
,
(
A
i
s
p
o
s
i
t
i
v
e
s
e
m
i
−
d
e
f
i
n
i
t
e
)
A= \left[ \begin{matrix} 1 & 0\\ 0 & 0\\ \end{matrix} \right],(A\ is \ positive\ semi-definite)
A=[1000],(A is positive semi−definite)
A
=
[
−
1
0
0
0
]
,
(
A
i
s
n
e
g
a
t
i
v
e
s
e
m
i
−
d
e
f
i
n
i
t
e
)
A= \left[ \begin{matrix} -1 & 0\\ 0 & 0\\ \end{matrix} \right],(A\ is \ negative\ semi-definite)
A=[−1000],(A is negative semi−definite)
A
=
[
−
1
0
0
−
1
]
,
(
A
i
s
n
e
g
a
t
i
v
e
d
e
f
i
n
i
t
e
)
A= \left[ \begin{matrix} -1 & 0\\ 0 & -1\\ \end{matrix} \right],(A\ is \ negative\ definite)
A=[−100−1],(A is negative definite)
A
=
[
1
0
0
−
1
]
,
(
A
i
s
n
e
i
t
h
e
r
p
o
s
i
t
i
v
e
d
e
f
i
n
i
t
e
n
o
r
n
e
g
a
t
i
v
e
d
e
f
i
n
i
t
e
)
A= \left[ \begin{matrix} 1 & 0\\ 0 & -1\\ \end{matrix} \right],(A\ is\ neither\ positive\ definite\ nor\ negative\ definite)
A=[100−1],(A is neither positive definite nor negative definite)
以上这些图形都有最佳的观测方向，这种最佳观测方向都是沿着特征向量方向，以负定情况举例
沿
[
1
0
]
方
向
沿 \left[ \begin{matrix} 1\\ 0\\ \end{matrix} \right]方向
沿[10]方向
沿
[
0
1
]
方
向
沿 \left[ \begin{matrix} 0\\ 1\\ \end{matrix} \right]方向
沿[01]方向
而根据特征向量几何意义，矩阵
Q
Q
Q指示了这些轴的方向，而
Λ
\Lambda
Λ则对图形在特征向量的方向进行拉伸
如果
Q
=
[
c
o
s
θ
−
s
i
n
θ
s
i
n
θ
c
o
s
θ
]
Q= \left[ \begin{matrix} cos\theta & -sin\theta\\ sin\theta & cos\theta\\ \end{matrix} \right]
Q=[cosθsinθ−sinθcosθ]
则图形被旋转
θ
\theta
θ角
对称矩阵的LU分解与二次型的配方
以
A
=
[
2
6
6
20
]
A= \left[ \begin{matrix} 2 & 6\\ 6 & 20\\ \end{matrix} \right]
A=[26620]
为例
A
=
[
1
3
1
]
[
2
6
2
]
A= \left[ \begin{matrix} 1 & \\ 3 & 1\\ \end{matrix} \right] \left[ \begin{matrix} 2 & 6\\ & 2\\ \end{matrix} \right]
A=[131][262]
同时
x
T
A
x
=
2
x
1
2
+
12
x
1
x
2
+
20
x
2
2
=
2
(
x
+
3
y
)
2
+
2
y
2
x^TAx=2x_1^2+12x_1x_2+20x_2^2=2(x+3y)^2+2y^2
xTAx=2x12+12x1x2+20x22=2(x+3y)2+2y2
二次型被配方为两平方项之和，可以观察到
x
+
3
y
x+3y
x+3y对应了
[
1
3
]
T
[1\ 3]^T
[1 3]T，
y
y
y对应了
[
0
1
]
T
[0\ 1]^T
[0 1]T,而两项前面的因子，分别是两个主元，同时也可以得到，为什么说负主元会导致
x
T
A
x
>
0
x^TAx>0
xTAx>0不总成立了
连续多元函数在某点存在极小值的判据
以二元函数 f ( x , y ) f(x,y) f(x,y)为例
- f x ( x 0 , y 0 ) = 0 , f y ( x 0 , y 0 ) = 0 f_x(x_0,y_0)=0,f_y(x_0,y_0)=0 fx(x0,y0)=0,fy(x0,y0)=0
- 二阶导数矩阵在该点是正定的
[ f x x f x y f y x f y y ] x = x 0 , y = y 0 i s a p o s i t i v e d e f i n i t e m a t r i x \left[ \begin{matrix} f_{xx} & f_{xy}\\ f_{yx} & f_{yy}\\ \end{matrix} \right]_{x=x_0,y=y_0}is\ a\ positive\ definite\ matrix [fxxfyxfxyfyy]x=x0,y=y0is a positive definite matrix
同理如果二阶导数矩阵是负定的，则会有极大值；如果二阶导数矩阵二次型是鞍面（行列式小于0），则此出不存在极值
此条件很容易推广到n元函数
3819
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
