机器学习用到的数学知识

 1、概率：全概率公式，联合概率，贝叶斯法则，独立性和条件独立性，KL距离，似然函数，马尔科夫模型。多元高斯分布。

2、线性代数。向量、空间中的点、内积、向量间夹角、欧式距离、线性超平面、垂直的概念、点到超平面的距离。矩阵、逆矩阵、正定矩阵。

3、微积分：函数导数、泰勒展开、函数最优值和导数为零的关系。自变量为向量的函数的导数。

4、优化：无约束优化和导数为零的关系，带约束优化问题和拉格朗日法，凸函数，凸集合，凸优化问题，对偶问题。最速下降法，牛顿法和拟牛顿法，动态规划。