微积分与逼近论-机器学习

一、微分学回顾

极限与导数

• 极限
  ：$ϵ-\delta$语言
• 连续
• 导数
  ：定义
  ：导数线性逼近
  ：求导法则：链式，加法，乘法，除法

泰勒级数

• 泰勒级数是微分学的巅峰或精髓
• 应用：欧拉公式(泰勒级数证明)
• 应用：洛必达法则
• 应用：求解简单微分方程
  ：用差分方程来逼近微分方程，用邻点函数的值来表示当前的导数
  向前差分，向后差分，中心差分，二阶中心差分

牛顿法与梯度下降法

• 牛顿法：
  ：零点问题
  ：求极值：
  极值问题：一阶导数的零点问题
  函数的二次逼近
  梯度下降法
• 都是对连续函数的局部逼近，梯度下降法是一阶逼近，牛顿法为二阶逼近，需要求海森矩阵

二、积分学回顾

黎曼积分

勒贝格积分与概率

• 不从分割定义域入手，从分割值域入手

三、概率论简单回顾

两大基本定理

• 大数定理
  ：依概率收敛
  ：依分布收敛
• 中心极限定理

参数估计

• 点估计
• 矩估计
  1.矩是什么
  2.矩是什么
  能用低阶矩不用高阶矩
• 极大似然估计
  评判标准：
  相合性
  无偏性
  有效性
  渐进正态性
• 区间估计