机器学习数学基础

• 高等数学

 多元函数的偏导

梯度向量

雅克比矩阵（一阶偏导）

         

        

黑塞矩阵（二阶偏导）

        

 多元函数极值（驻点邻域内有二阶连续偏导）

        

        A正定矩阵--极小值点

        A负定矩阵--极大值点

带等式约束的优化问题--拉格朗日乘子法

        

 梯度优化

                梯度下降 --  接近最优值时要不断缩小步长，防止震荡

                牛顿法   ----  收敛速度快，黑塞矩阵的逆在迭代中减小以减小步长，但逆的计算复杂

  一元函数

                

 多元函数

                

                                                 =  g                 =  H

 

• 线性代数

向量空间

秩 -- 线性无关个数  

正交规范化 

伴随矩阵  （余子式为去除所在行列的行列式）

可逆矩阵  

正交矩阵     

范数 -- 度量长度 （正定性、齐次性、三角不等式）

齐次线性方程组与解空间     -- 秩

import numpy
A=numpy.mat(’a11 ⋯ a1n;⋯;am1 ⋯ amn’)
b=zeors(1,n)
x=numpy.linalg.solve(A,b)
print(x)

特征向量    

        

 矩阵对角化条件

• 概率统计

条件概率                                ​​​​​​​                

                

 

独立性

        ​​​​​​​        

全概率公式

        ​​​​​​​        

贝叶斯公式

        ​​​​​​​        

先验概率 -- 试验前已知的概率 （不含条件）       后验概率 -- 条件概率

观测样本下的参数估计

极大似然估计（频率派） -- 为确定的值，求值

                待估计参数  未知，但客观存在，当 时，（使观测样本发生的概率最大）

                该组观测样本  更容易被观测到

                  

贝叶斯估计   -- 为随机变量，求分布 

                待估计参数 随机，和一般随机变量相同，根据观测样本估计参数 的分布

                 

            为参数 的先验分布（prior distribution），不含样本信息 

               为参数  的后验分布（posterior distribution） 

 

 最大后验估计            

             

参考https://zhuanlan.zhihu.com/p/61593112

点估计

区间估计

随机变量（函数）

        离散型随机变量

        连续型随机变量

概率分布、概率密度函数

随机变量的期望、方差、协方差

                协方差cov（X，Y）= 0，则线性无关（不一定独立 --- 可能有非线性的函数关系）

大数定律（期望相同  --  样本均值收敛于相同的期望）

                ​​​​​​​         且  

                        

 

中心极限定律（有限的期望、方差  -- 样本近似正态分布）

                  

                  对任意x，

                   有