机器学习数学基础笔记2微积分

1. 无穷小阶数
   
   
   
   
2. 牛顿法和梯度下降法
   很多机器学习和统计的算法最后都转换成一个优化的问题，也就是求一个损失函数的极小值问题。
   牛顿法和梯度下降法都只能求局部极小值，不能求全局最小值
   两种方法都必须有一个初始点x0
   数学原理：牛顿法使用二阶逼近，梯度下降法使用一阶逼近
   牛顿法对局部凸函数找到极小值，对局部凹函数找到极大值，不凸不凹的函数可能找到鞍点
   梯度下降法一般不会找到最大值，但同样会找到鞍点
   初始值合理的情况下，牛顿法比梯度下降法收敛速度快，但计算难度大
   
   
   梯度下降法
   
   
   
   
   半正定矩阵：特征值>=0