【机器学习】数学基础-微积分

微分上：

1.O(n)是一个函数，表征算法时间复杂度的一个函数。

2.极限：略，高数

3.导数：高数—变化率，记一下求导公式
快速求导途径：
1.求导网站：https://www.derivative-calculator.net/
2.python模块 sympy
用于进行非数值的变量，其实就是未知数x，y等来参与计算，他们并没有实际数值

4.求导法则
https://baike.baidu.com/item/%E5%AF%BC%E6%95%B0%E8%A1%A8/10889755?fr=aladdin


5.费马定理（导数应用）—利用倒数寻找极值
核心：极值处，导数为0
导数为0处，未必有极值（如fx=x^3）

6.函数逼近–有点类似于等价无穷小，本质还是导数和近似
https://zhuanlan.zhihu.com/p/67806247

7.泰勒展开

8.洛必达法则-https://baike.baidu.com/item/%E6%B4%9B%E5%BF%85%E8%BE%BE%E6%B3%95%E5%88%99/7646700?fr=aladdin
求极限，分不同类型，注意结合等价无穷小


9.凸函数—优化概念
凸函数是一个定义在某个向量空间的凸子集C上的实值函数f，而且对于凸子集C中任意两个向量x1，x2，有
判断条件：二阶导数：

拉格朗日中值定理：
若函数f(x)在区间[a,b]满足以下条件:

(1)在[a,b]连续

(2)在(a,b)可导

则在(a,b)中至少存在一点f’©=[f(b)-f(a)]/(b-a) a<c<b，使或f(b)-f(a)=f’©(b-a) 成立，其中a<c<b

微分下：

1.多元函数：
求极限：要看范围，。而不是某个方向，引入k进行计算，如果花间的极限和k无关，则说明在各个方向上都有极限

2.偏导数–求多元函数极值

3.方向导数
在函数定义域的内点，对某一方向求导得到的导数。一般为二元函数和三元函数的方向导数，方向导数可分为沿直线方向和沿曲线方向的方向导数。

方向导数存在，偏导数也未必存在

4.可微
设函数y= f(x)，若自变量在点x的改变量Δx与函数相应的改变量Δy有关系Δy=A×Δx+ο(Δx)，其中A为不依赖Δx的常数，ο(Δx)是比Δx高阶的无穷小。则称函数f(x)在点x可微，并称AΔx为函数f(x)在点x的微分，记作dy，即dy=A×Δx，当x= x0时，则记作dy∣x=x0。

5.梯度
梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。
多元函数 的梯度实质上对应的是一元的导数
6.链式法则-多元函数
https://zhuanlan.zhihu.com/p/144625188

7.海森矩阵-判断多元函数是否取极值

8.拉格朗日数乘法—求多远的最优解–隐函数—参考高数资料
在数学最优问题中，拉格朗日乘数法（以数学家约瑟夫·路易斯·拉格朗日命名）是一种寻找变量受一个或多个条件所限制的多元函数的极值的方法。这种方法将一个有n 个变量与k 个约束条件的最优化问题转换为一个有n + k个变量的方程组的极值问题，其变量不受任何约束。这种方法引入了一种新的标量未知数，即拉格朗日乘数：约束方程的梯度（gradient）的线性组合里每个向量的系数。 [1] 此方法的证明牵涉到偏微分，全微分或链法，从而找到能让设出的隐函数的微分为零的未知数的值。