机器学习学习笔记（二）

微积分的选讲

提示：此篇笔记只进行微分学的学习

---

---

一、极限

• 复习极限的记号，无穷大无穷小阶数。
• 通俗语言
• 数学记号
• 精确描述：ϵ-δ 语言

如何比较无穷小

当 x 趋近于0的时候，sin(x) 与tan(x)都趋近于0，那么哪个趋近于0的速度更快呢？
考察两个函数的商即可，他们在X趋近于0的时候商为1，所以二者是同样级别的无穷小

无穷小阶数

所谓的无穷小的阶数，就是用我们比较熟悉的多项式类型的无穷小量来衡量其他的无穷小量，把未解决的问题转化成已经解决的问题。

• 夹逼定理
• 重要极限

小结

• 极限有不同的表达方式，建议联系使用 ϵ-δ 语言
• 无穷小也可以互相比较
• 利用多项式类型无穷小，可以定义为无穷小的阶数
• 夹逼定理

二、微分学

微分学的核心思想：逼近！！！

• 函数的导数：一个函数f(x)在x0处附近有定义，而且存在极限，那么f(x)在x0处可导，且导数等于L。

等价定义：

• 无穷小量表述：线性逼近
  如果存在一个实数L使得f(x）满足，
  f(x)=f(x0)+L(x-x0)+o(x-x0), x–>0
  那么，f(x)在x0处可导而且导数等于。

• 函数的高阶导数
  导数是对函数进行线性的逼近，高阶导数是对倒数函数的进一步的逼近，因为没有更好的办法，所以数学家选择使用线性逼近

• 初等函数的导数

• 多元函数
  我们只考虑无穷次可微的多元函数，对于这种函数，我们可以 使用全微分开定义偏导数，实际上现实遇到的函数大部分都是这种函数。

• 全微分与偏导数

• 高阶偏导数

• 复合函数求导

• 求导法则：链式法则/加法法则/乘法法则/除法法则/反函数求导。
  所有的法则其实都可以用链式法则结合二元函数的偏导数来推出来。

• 1.复习函数求导，泰勒级数逼近
  一元函数的顶峰:泰勒级数

• 泰勒/麦克劳林级数：多项式逼近

• 泰克展开式/欧拉公式

• 2.牛顿法与梯度下降法
  很多的机器学习或者统计的算法最后都会转化成一个优化的问题，也就是求某一个损失函数的极小值的问题，在此处只考虑可微分的函数的极小值问题。

• 优化问题：对于一个无穷可微的函数f(x) ，如何寻找他的极小值点？

• 极值点条件：全局极小值/局部极小值/不论是全局还是局部极小值一定满足一阶导数挥着梯度为零。

小结

• 微分学的核心思想是逼近
• 一阶导数：线性逼近
• 二阶导数：二次逼近
• 导数计算：求导法则
• 泰勒级数的本质是多项式逼近
• 特殊函数的泰勒级数可以适当记一下
• 泰勒级数可以应用于很多与逼近相关的问题

三、Jensen 不等式

• 复习凸函数，Jensen不等式的证明