28. 正定矩阵和最小值

1. 概述

正定矩阵这节可以将主元，行列式，特征值，还有不稳定性结合起来。以前我们学的是解决方程
$Ax=b$ 的问题，现在升级，变成 $x^{T}Ax=b$ ，在原来的基础上新增了一个 $x^T$ 变量，使得原来线性一次问题，变成了二次问题。我们的目标如下：
此节讨论的是： 前提是矩阵A为2X2的对称矩阵

• 1. 怎么快速的判断矩阵是否为正定矩阵
• 2. 正定矩阵与图像之间的关系:椭圆和正定性有关，双曲线与正定性无关。
• 3. 如何找到极小值？

2. 正定矩阵判定条件

假设我们有如下对称矩阵A
$$\begin{array}{c}A=\left[\begin{array}{cc}a& b\\ & \\ b& c\end{array}\right]\end{array}$$

• 1. 对称矩阵特征值大于零，${\lambda }_1>0,{\lambda }_2>0$
• 2. 顺序主子式大于零， $a>0,ac-b^2>0$
• 3. 主元大于零，$a>0,\frac{ac-b^2}{a}>0$
• 4. $x^{T}Ax$的值大于零。 $x^{T}Ax>0$

假设我们有一个矩阵A 表示如下：
$$\begin{array}{c}A=\left[\begin{array}{cc}2& 6\\ & \\ 6& c\end{array}\right]\end{array}$$
那我们如何选择变量c ，使得矩阵A是正定矩阵呢？我们可以用主元大于零来判断，第一个主元a>0 ，满足条件，第二个$\frac{2\ast c-6^2}{2}>0$,得到 $c>18$ 才能满足矩阵A是正定矩阵。

• 假设我们令 c=18,那么矩阵A的特征值${\lambda }_1=0,{\lambda }_2=20$ , 所以矩阵A为半正定矩阵。
  $$\begin{array}{c}{x}^{T}Ax=\left[\begin{array}{cc}{x}_1& x_2\end{array}\right]\left[\begin{array}{cc}2& 6\\ & \\ 6& 18\end{array}\right]\left[\begin{array}{c}{x}_1\\ \\ x_2\end{array}\right]=a{x}_1^2+2b{x}_1{x}_2+c{x}_2^2=2x_1^2+12x_1{x}_2+18x_2^2\end{array}$$
  我们知道当c=18的时候，A为半正定矩阵，Python 图像代码如下：
  

import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D

# 创建 x 和 y 的范围，并生成网格数据
x = np.linspace(-10, 10, 400)
y = np.linspace(-10, 10, 400)
x, y = np.meshgrid(x, y)

# 计算 z 的值
z = 2 * x**2 + 12 * x * y + 18 * y**2

# 创建一个新的图像
fig = plt.figure()
ax = fig.add_subplot(111, projection='3d')

# 绘制三维图像，增加网格线和颜色映射
surface = ax.plot_surface(x, y, z, cmap='viridis', edgecolor='k', alpha=0.8)

# 添加颜色条
fig.colorbar(surface, shrink=0.5, aspect=5)

# 设置图像标题和轴标签
ax.set_title('Surface plot of z=2x^2 + 12xy + 18y^2')
ax.set_xlabel('X axis')
ax.set_ylabel('Y axis')
ax.set_zlabel('Z axis')

# 调整视角
ax.view_init(elev=30, azim=30)

# 显示图像
plt.show()

• 当我们令 c=7时，矩阵A为非正定矩阵，图像如下：

• 当我们令 c=20时，矩阵A为正定矩阵，图像如下：
  可以知道矩阵A的行列式：${\lambda }_1{\lambda }_2=4>0$表示要么同为正，要么同为负，${\lambda }_1+{\lambda }_2=22>0$,所以可以得到，${\lambda }_1>0,{\lambda }_2>0$
  
  $$\begin{array}{c}{x}^{T}Ax=\left[\begin{array}{cc}x& y\end{array}\right]\left[\begin{array}{cc}2& 6\\ & \\ 6& 20\end{array}\right]\left[\begin{array}{c}x\\ \\ y\end{array}\right]=2x^2+12xy+20y^2=2(x+3y{)}^2+2y^2\end{array}$$
  $$\begin{array}{c}\left[\begin{array}{cc}2& 6\\ & \\ 6& 20\end{array}\right]=\left[\begin{array}{cc}1& 0\\ & \\ 3& 1\end{array}\right]\left[\begin{array}{cc}2& 6\\ & \\ 0& 2\end{array}\right]=\left[\begin{array}{cc}1& 0\\ & \\ 3& 1\end{array}\right]\left[\begin{array}{cc}2& 6\\ & \\ 0& 2\end{array}\right]\end{array}$$
  可以得到消元法和配方后的结果一致。
  化简后可以看出，正定值大于等于零。图形相当于一个碗，也就是旋转的抛物线体。
  $$\begin{array}{c}\frac{\mathrm{d}{x}^{T}Ax}{\mathrm{d}x}=4x+12y,\frac{\mathrm{d}{x}^{T}Ax}{\mathrm{d}y}=12x+40y\end{array}$$
• 可以看出在零点的最小值中的一阶导数为0，如果需要知道极小值点，不仅需要一阶导数为0，还同时需要二阶导数为正。
• 一阶导数为0
  $$\begin{array}{c}\left[\begin{array}{cc}{f}_{xx}& f_{xy}\\ & \\ f_{yx}& f_{yy}\end{array}\right]>0,f_{xx}>0,f_{xx}{f}_{yy}-f_{xy}{f}_{yx}>0\Rightarrow 矩阵是正定，有极小值\end{array}$$

3. 举例

假设我们有如下矩阵A
$$\begin{array}{c}A=\left[\begin{array}{ccc}2& -1& 0\\ & & \\ -1& 2& -1\\ & & \\ 0& -1& 2\end{array}\right]\end{array}$$

1. 顺序主子式的行列式均大于零，所以矩阵为正定矩阵。
   $$\begin{array}{c}\left|\begin{array}{c}2\end{array}\right|=2>0;\left|\begin{array}{cc}2& -1\\ & \\ -1& 2\end{array}\right|=3>0;\left|\begin{array}{ccc}2& -1& 0\\ & & \\ -1& 2& -1\\ & & \\ 0& -1& 2\end{array}\right|=4>0\end{array}$$
2. 主元分别如下：$2,\frac{3}{2},\frac{4}{3}$,均大于零，所以为正定矩阵。
3. 特征值分别如下：$2-\sqrt{2},2,2+\sqrt{2}$,均大于零，所以为正定矩阵。
4. 方程如下：
   $$\begin{array}{c}f(x_1,x_2,x_3)=x^{T}Ax=2x_1^2+2x_2^2+2x_3^2-2x_1{x}_2-2x_2{x}_3\end{array}$$
   以上得到一个椭圆球的方程，图形如下：