数学基础-线性代数

1 矩阵正定性的判断，Hessian 矩阵正定性在梯度下降中的应用

若矩阵所有特征值均不小于0，则判定为半正定，若矩阵所有特征值均大于0，则判定为正定，在判断优化算法的可行性时Hessian 矩阵的正定性起了很大的作用，若hessian 正定，则函数的二阶偏导恒大于0，函数的变化率处于递增状态，在牛顿法等梯度下降的方法中，Hessian 矩阵的正定性可以很容易的判断函数是否可收敛到局部或全局最优解。

2 讲一下PCA

PCA 是比较常见的线性降维方法，通过线性投影将高维数据映射到低维数据中，所期望的是在投影的维度上，新特征自身的方差尽量大，方差·越大特征越有小，尽量使产生的新特征间的相关性越小。

PCA 算法的具体操作为对所有的样本进行中心化操作，计算样本的协方差矩阵，然后对协方差矩阵做特征值分解，取最大的n个特征值对应的特征向量构造投影矩阵。

3 拟牛顿法的原理

牛顿法的收敛速度快，迭代次数少，但是hessian 矩阵很稠密时，每次迭代的计算量很大，随着数据规模增大，Hessian 矩阵也会变大，需要更多的存储空间以及计算量，拟牛顿法就是在牛顿法的基础上引入了 Hessian 矩阵的近似矩阵，避免了每次都计算hessian 矩阵的逆，