文章目录
1. A 2 A^2 A2关于时间的导数
我们在已知
d
A
d
t
\frac{\mathrm{d}A}{\mathrm{d}t}
dtdA的情况下,如何求解
d
A
2
d
t
\frac{\mathrm{d}A^2}{\mathrm{d}t}
dtdA2?
d
A
d
t
→
d
A
2
d
t
?
?
\begin{equation} \frac{\mathrm{d}A}{\mathrm{d}t}\rightarrow \frac{\mathrm{d}A^2}{\mathrm{d}t}?? \end{equation}
dtdA→dtdA2??
- 我们定义A的变化为
Δ
A
\Delta A
ΔA,t 的变化为
Δ
t
\Delta t
Δt,计算
d
A
2
d
t
\frac{\mathrm{d}A^2}{\mathrm{d}t}
dtdA2
d A 2 d t = ( A + Δ A ) 2 − A 2 Δ t = A 2 + A Δ A + Δ A A + ( Δ A ) 2 − A 2 Δ t = A Δ A + Δ A A + ( Δ A ) 2 Δ t \begin{equation} \frac{\mathrm{d}A^2}{\mathrm{d}t}=\frac{(A+\Delta A)^2-A^2}{\Delta t}=\frac{A^2+A\Delta A+\Delta AA+(\Delta A)^2-A^2}{\Delta t}=\frac{A\Delta A+\Delta AA+(\Delta A)^2}{\Delta t} \end{equation} dtdA2=Δt(A+ΔA)2−A2=ΔtA2+AΔA+ΔAA+(ΔA)2−A2=ΔtAΔA+ΔAA+(ΔA)2
d A 2 d t = A Δ A Δ t + Δ A Δ t A + Δ A Δ t Δ A = A d A d t + d A d t A \begin{equation} \frac{\mathrm{d}A^2}{\mathrm{d}t}=A\frac{\Delta A}{\Delta t}+\frac{\Delta A}{\Delta t}A+\frac{\Delta A}{\Delta t}\Delta A=A\frac{\mathrm{d}A}{\mathrm{d}t}+\frac{\mathrm{d}A}{\mathrm{d}t}A \end{equation} dtdA2=AΔtΔA+ΔtΔAA+ΔtΔAΔA=AdtdA+dtdAA - 整理可得结论如下:
d A 2 d t = A d A d t + d A d t A \begin{equation} \frac{\mathrm{d}A^2}{\mathrm{d}t}=A\frac{\mathrm{d}A}{\mathrm{d}t}+\frac{\mathrm{d}A}{\mathrm{d}t}A \end{equation} dtdA2=AdtdA+dtdAA
2. 奇异值 σ \sigma σ 关于时间的导数
对于任意矩阵A来说,我们可以按照奇异值分解得到如下结果:
A
v
=
u
σ
,
u
T
u
=
1
,
v
T
v
=
1
\begin{equation} Av=u\sigma,u^Tu=1,v^Tv=1 \end{equation}
Av=uσ,uTu=1,vTv=1
- 整理可得如下:
σ = u T A v \begin{equation} \sigma=u^TAv \end{equation} σ=uTAv - 关于t求导如下:
d σ d t = d u T d t A v + u T d A d t v + u T A d v d t \begin{equation} \frac{\mathrm{d}\sigma}{\mathrm{d}t}=\frac{\mathrm{d}u^T}{\mathrm{d}t}Av+u^T\frac{\mathrm{d}A}{\mathrm{d}t}v+u^TA\frac{\mathrm{d}v}{\mathrm{d}t} \end{equation} dtdσ=dtduTAv+uTdtdAv+uTAdtdv - 我们知道
A
v
=
u
σ
;
u
T
A
=
σ
v
T
Av=u\sigma;u^TA=\sigma v^T
Av=uσ;uTA=σvT,整理可得
d σ d t = σ d u T d t u + u T d A d t v + σ v T d v d t = σ ( d u T d t u + v T d v d t ) + u T d A d t v \begin{equation} \frac{\mathrm{d}\sigma}{\mathrm{d}t}=\sigma\frac{\mathrm{d}u^T}{\mathrm{d}t}u+u^T\frac{\mathrm{d}A}{\mathrm{d}t}v+\sigma v^T\frac{\mathrm{d}v}{\mathrm{d}t}=\sigma(\frac{\mathrm{d}u^T}{\mathrm{d}t}u+v^T\frac{\mathrm{d}v}{\mathrm{d}t})+u^T\frac{\mathrm{d}A}{\mathrm{d}t}v \end{equation} dtdσ=σdtduTu+uTdtdAv+σvTdtdv=σ(dtduTu+vTdtdv)+uTdtdAv - 我们知道
u
T
u
=
1
u^Tu=1
uTu=1,两边求导可得:
d u T d t u + u T d u d t = 0 \begin{equation} \frac{\mathrm{d}u^T}{\mathrm{d}t}u+u^T\frac{\mathrm{d}u}{\mathrm{d}t}=0 \end{equation} dtduTu+uTdtdu=0 - 转置不影响求导顺序,既可以先转置后求导,也可以先求导再转置;
- 对于标量来说,
x
T
y
=
y
T
x
x^Ty=y^Tx
xTy=yTx,所以可得:
[ d u d t ] T u = u T d u d t \begin{equation} [\frac{\mathrm{d}u}{\mathrm{d}t}]^Tu=u^T\frac{\mathrm{d}u}{\mathrm{d}t} \end{equation} [dtdu]Tu=uTdtdu
d u T d t u = u T d u d t = 0 \begin{equation} \frac{\mathrm{d}u^T}{\mathrm{d}t}u=u^T\frac{\mathrm{d}u}{\mathrm{d}t}=0 \end{equation} dtduTu=uTdtdu=0 - 所以最后可得如下结论:
d σ d t = u T d A d t v \begin{equation} \frac{\mathrm{d}\sigma}{\mathrm{d}t}=u^T\frac{\mathrm{d}A}{\mathrm{d}t}v \end{equation} dtdσ=uTdtdAv
3. 迭代特征值
3.1 交替特征值
假设我们有一个对称矩阵S,在矩阵S的基础上加一个秩为1的矩阵得到
S
1
S_1
S1,我们定义矩阵S的特征值为
λ
\lambda
λ,
u
2
u_2
u2为S矩阵中
λ
2
\lambda_2
λ2对应的特征向量,矩阵
S
1
S_1
S1对应的特征值为
μ
\mu
μ具体如下:
S
→
λ
1
,
λ
2
,
⋯
,
λ
n
;
S
1
→
μ
1
,
μ
2
,
⋯
,
μ
n
;
\begin{equation} S\rightarrow \lambda_1,\lambda_2,\cdots,\lambda_n;S_1\rightarrow \mu_1,\mu_2,\cdots,\mu_n; \end{equation}
S→λ1,λ2,⋯,λn;S1→μ1,μ2,⋯,μn;
S
1
=
S
+
θ
u
2
u
2
T
\begin{equation} S_1=S+\theta u_2u_2^T \end{equation}
S1=S+θu2u2T
- 最后可以得到特征值交替结果,具体证明请看上一节内容
μ 1 ≥ λ 1 ≥ μ 2 ≥ λ 2 ≥ ⋯ ≥ μ n ≥ λ n \begin{equation} \mu_1\ge \lambda_1 \ge \mu_2 \ge \lambda_2\ge \cdots\ge\mu_n\ge\lambda_n \end{equation} μ1≥λ1≥μ2≥λ2≥⋯≥μn≥λn
3.2 S+T 矩阵最大特征值
假设我们有一个对称矩阵S,一个秩为1的对称矩阵T,那么S+T特征值最大关系如下:
- [仅供猜测] 对于原来的矩阵S来说,新增秩为1的矩阵T,得到S+T,那么T带来的效果最差是加1,好点的效果是消除部分行,所以最终得到的S+T的秩小于分别相加,同样特征值也如此。
λ m a x ( S + T ) ≤ λ m a x ( S ) + λ m a x ( T ) \begin{equation} \lambda_{\mathrm{max}}(S+T)\leq \lambda_{\mathrm{max}}(S)+\lambda_{\mathrm{max}}(T) \end{equation} λmax(S+T)≤λmax(S)+λmax(T)
4. 瑞利商的思考
4.1 瑞利商的定义
假设A是n阶实对称矩阵,x是n维非零列向量,那么瑞利商表示如下:
R
(
A
,
x
)
=
x
T
A
x
x
T
x
\begin{equation} R(A,x)=\frac{x^TAx}{x^Tx} \end{equation}
R(A,x)=xTxxTAx
4.2 性质1
记
λ
m
a
x
\lambda_{\mathrm{max}}
λmax是矩阵A的最大特征值,
λ
m
i
n
\lambda_{\mathrm{min}}
λmin是矩阵A的最小特征值,则
m
a
x
x
≠
0
R
(
A
,
x
)
=
λ
m
a
x
,
m
i
n
x
≠
0
R
(
A
,
x
)
=
λ
m
i
n
\begin{equation} \mathop{max}\limits_{x\neq 0}R(A,x)=\lambda_{\mathrm{max}},\mathop{min}\limits_{x\neq 0}R(A,x)=\lambda_{\mathrm{min}} \end{equation}
x=0maxR(A,x)=λmax,x=0minR(A,x)=λmin
- 若在
x
T
x
=
k
x^Tx=k
xTx=k条件下:
m a x x T x = k x T A x = k λ m a x ; m i n x T x = k x T A x = k λ m i n ; \begin{equation} \mathop{max}\limits_{x^Tx=k}x^TAx=k\lambda_{\mathrm{max}};\mathop{min}\limits_{x^Tx=k}x^TAx=k\lambda_{\mathrm{min}}; \end{equation} xTx=kmaxxTAx=kλmax;xTx=kminxTAx=kλmin; - 若记
α
1
\alpha_1
α1为
λ
m
a
x
\lambda_{\mathrm{max}}
λmax对于的单位特征向量,
α
2
\alpha_2
α2为
λ
m
i
n
\lambda_{\mathrm{min}}
λmin对于的单位特征向量,则
当 x = k α 1 x=\sqrt{k}\alpha_1 x=kα1时,可取到 x T A x x^TAx xTAx的最大值 k λ m a x k\lambda_{\mathrm{max}} kλmax.
当 x = k α 2 x=\sqrt{k}\alpha_2 x=kα2时,可取到 x T A x x^TAx xTAx的最小值 k λ m i n k\lambda_{\mathrm{min}} kλmin.