机器学习笔记_数学基础_1-微积分

微积分

• 极限
• 导数 ： 一阶导数；二阶倒数；
• 微分中值定理
  （1）罗尔定理（倒数为零的点是驻点）
  （2）拉格朗日中值定理
• 泰勒公式
  $f(x)=f(x_0)+f’(x_0)(x-x_0)+\frac{f”(x_0)}{2!}(x-x_0)^2 +\cdots+frac{f^n(x_0)}{n!}(x-x_0)^n+o(x_n)$
• 二阶倒数
• 凹凸性
  凸函数： $f(\theta x+(1-\theta)y) \leq \theta f(x) +(1-\theta) f(y)$
  $f''(x) > 0$
  推广：
  $f(\theta_1 x_1+\cdots+\theta_n x_n) \leq \theta_1 f(x_1)+\cdots+ \theta_n f(x_n)$

---

多远微积分

• 偏导数

• 方向导数
  $\frac{\partial f}{\partial l}=\frac{\partial f}{\partial x}cos\phi+\frac{\partial f}{\partial y}sin\phi$
  PS：$\phi$是x轴到方向L的转角

• 梯度: 函数$z=f (x,y)$在P点的梯度 $gradf(x,y)=\nabla_x f(x_0+y_0)i+\nabla_y f(x_0+y_0)j$

• 多元函数求极值

多元函数等式条件极值： 拉格朗日乘数法

• 函数$z=f(x,y)$在条件$\varphi (x,y)=0$ 添加下取得极值
• 定义拉格朗日函数$L(x,y)=f(x,y)+\lambda \varphi(x,y)$

$$\begin{equation} \left\{ \begin{aligned} f_x(x_0,y_0)+\lambda \varphi_x(x_0,y_0))=0\\ f_y(x_0,y_0)+\lambda \varphi_y(x_0,y_0))=0\\ \varphi(x,y_0))=0\\ \end{aligned} \right. \end{equation}$$