机器学习——数学基础

前言：适用本人，在学习中记录要用的数学知识。

1.约束最优化问题求解：拉格朗日乘子法和KKT条件
https://blog.csdn.net/DawnRanger/article/details/53133450

2.何为二次型，二次型怎么转化为标准型及其意义，二次型的矩阵表示，通过正交线形变换将二次型变换为标准型（求该正交线性变换和对应的标准型）

https://www.jianshu.com/p/62539b0316e2
3.正定矩阵，半正定矩阵
定义:

A是n阶方阵，如果对任何非零向量x，都有xTAx>0，其中xT 表示x的转置，就称A正定矩阵。
设A是实对称矩阵。如果对任意的实非零列向量x有xTAx≥0，就称A为半正定矩阵。

性质:

正定矩阵的行列式恒为正；
实对称矩阵A正定当且仅当A与单位矩阵合同；
两个正定矩阵的和是正定矩阵；
正实数与正定矩阵的乘积是正定矩阵。

性质:

半正定矩阵的行列式是非负的；
两个半正定矩阵的和是半正定的；
非负实数与半正定矩阵的数乘矩阵是半正定的。

https://blog.csdn.net/asd136912/article/details/79146151

4.0范数，1范数，2范数，无穷范数

作者：JI Weiwei
链接：https://www.zhihu.com/question/20473040/answer/25599737

你是问向量范数还是矩阵范数？要更好的理解范数，就要从函数、几何与矩阵的角度去理解，我尽量讲的通俗一些。我们都知道，函数与几何图形往往是有对应的关系，这个很好想象，特别是在三维以下的空间内，函数是几何图像的数学概括，而几何图像是函数的高度形象化，比如一个函数对应几何空间上若干点组成的图形。但当函数与几何超出三维空间时，就难以获得较好的想象，于是就有了映射的概念，映射表达的就是一个集合通过某种关系转为另外一个集合。通常数学书是先说映射，然后再讨论函数，这是因为函数是映射的一个特例。为了更好的在数学上表达这种映射关系，（这里特指线性关系）于是就引进了矩阵。这里的矩阵就是表征上述空间映射的线性关系。而通过向量来表示上述映射中所说的这个集合，而我们通常所说的基，就是这个集合的最一般关系。于是，我们可以这样理解，一个集合（向量），通过一种映射关系（矩阵），得到另外一个几何（另外一个向量）。那么向量的范数，就是表示这个原有集合的大小。而矩阵的范数，就是表示这个变化过程的大小的一个度量。那么说到具体几几范数，其不过是定义不同，一个矩阵范数往往由一个向量范数引出，我们称之为算子范数，其物理意义都如我上述所述。以上符合知乎回答问题的方式。
.
接下来用百度回答方式：0范数，向量中非零元素的个数。1范数，为绝对值之和。2范数，就是通常意义上的模。

范数的选择，不同范数对应得图形，在机器学习上的一个应用
作者：凌空
链接：https://www.zhihu.com/question/20473040/answer/175915374

5.均值，方差，协方差，协方差矩阵，特征值，特征向量
https://blog.csdn.net/yangleo1987/article/details/52845912