对数—行列式函数的分析

1. 定义：函数$f\left(X\right)=\log \det X$，$domf\in S_{++}^n$，则称函数$f$为对数-行列式函数，现在我们想分析该函数是凸函数还是凹函数？或是非凸又非凹？
   总体思路：由于该函数的自变量是正定的对称矩阵（$n\times n$矩阵），定义域为正定对称矩阵构成的一个矩阵空间，是一个典型的高维函数，针对这类函数，我们可以先用一些特例去验证：譬如$n=1$,即X为一维矩阵，那么$\det X$就等于它本身，而我们知道log函数是凹函数，因此至少对数—行列式函数不是凸函数，因为我们已经找到一个反例了，那它是不是凹函数呢？接下来我们将去验证。
2. 准备知识：在分析对数—行列式函数的凹凸性之前，回顾一下有关线性代数的知识，这些知识将是我们接下来分析中需要用的。
   （1）设A、B为两个$n\times n$的矩阵，那么我们有$\det (AB)=\det A\det B$,即两个相乘矩阵的行列式等于分别求行列式再相乘。
   （2）假设${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$为矩阵$A$的特征值，那么$\det A={\lambda }_1{\lambda }_2\cdots {\lambda }_n$.
   （3）特征值分解：即任何一个对称矩阵$A$都可以分解成$Q\Lambda Q^T$的形式，其中，$\Lambda$为对角阵，且其对角线上的元素为矩阵$A$的特征值，$Q{Q}^T=I$。
3. 分析与证明：我们将函数$f\left(X\right)=\log \det X$转化为任意直线上的单变量函数来分析它的凹凸性（这也是对高维变量函数验证凹凸性通常的做法）。令$X=Z+tV$，其中，$Z,V\in S^n$,定义$g\left(t\right)=f\left(Z+tV\right)$,变量t满足$X=Z+tV\succ 0$（假设$t=0$时，$Z\succ 0$）,有：$$g\left(t\right)=\log \det \left(Z+tV\right)=\log \det \left(Z^{\frac{1}{2}}\left(I+t{Z}^{-\frac{1}{2}}V{Z}^{-\frac{1}{2}}\right)Z^{\frac{1}{2}}\right)$$
   $$=\log \det \left(Z^{\frac{1}{2}}\right)\det \left(I+t{Z}^{-\frac{1}{2}}V{Z}^{-\frac{1}{2}}\right)\det \left(Z^{\frac{1}{2}}\right)$$
   $$=\log \det \left(Z^{\frac{1}{2}}\right)+\log \det \left(I+t{Z}^{-\frac{1}{2}}V{Z}^{-\frac{1}{2}}\right)+\log \det \left(Z^{\frac{1}{2}}\right)$$
   $$=2\log \det \left(Z^{\frac{1}{2}}\right)+\log \det \left(I+t{Z}^{-\frac{1}{2}}V{Z}^{-\frac{1}{2}}\right)$$
   $$=\log \det \left(Z\right)+\log \det \left(I+t{Z}^{-\frac{1}{2}}V{Z}^{-\frac{1}{2}}\right)$$
   下面我们考虑矩阵$Z^{-\frac{1}{2}}V{Z}^{-\frac{1}{2}}$,因为$Z,V\in S^n$是对称矩阵，则$Z^{-\frac{1}{2}}V{Z}^{-\frac{1}{2}}$可以进行特征值分解（见准备知识2），因此，我们可以将矩阵$I+t{Z}^{-\frac{1}{2}}V{Z}^{-\frac{1}{2}}$写成$Q{Q}^T+tQ\Lambda Q^T$形式，那么$\det \left(I+t{Z}^{-\frac{1}{2}}V{Z}^{-\frac{1}{2}}\right)=\det \left(Q{Q}^T+tQ\Lambda Q^T\right)=\det \left(Q\left(I+t\Lambda \right)Q^T\right)=\det \left(Q{Q}^T\right)\det \left(I+t\Lambda \right)=\det \left(I\right)\det \left(I+t\Lambda \right)=\prod _{i=1}^n\left(1+t{\lambda }_i\right)$
   所以$g\left(t\right)=\log \det \left(Z\right)+\log \det \left(I+t{Z}^{-\frac{1}{2}}V{Z}^{-\frac{1}{2}}\right)=\log \det \left(Z\right)+\log \left(\prod _{i=1}^n\left(1+t{\lambda }_i\right)\right)=\log \det \left(Z\right)+\sum _{i=1}^n\log \left(1+t{\lambda }_i\right)$
   我们对函数$g\left(t\right)$求一阶导和二阶导，结果分别为：
   $$g^{\prime }\left(t\right)=\sum _{i=1}^n\frac{{\lambda }_i}{1+t{\lambda }_i}$$
   $$g^{\prime \prime }\left(t\right)=-\sum _{i=1}^n\frac{{{\lambda }_i}^2}{{\left(1+t{\lambda }_i\right)}^2}$$
   可以看出二阶导$g^{\prime \prime }\left(t\right)⩽0$,所以$g\left(t\right)$是凹函数，则函数$f\left(X\right)=\log \det X$也为凹函数，证毕！
   ———————————————————————————————
   总结：对于高维变量的函数的凹凸性判断，我们首先可以从直观上进行特例假设（如维数为1时），看看特例的函数是凹函数还是凸函数数，有了直观的判断以后，我们就可以进行分析了，而通常对高维变量函数的凹凸性证明，我们都是将该函数转化为任意直线上的单变量函数去进行证明。