机器学习三要素

机器学习三要素

方法=模型+策略+算法

1. 模型 $f(X)$

   • 模型 $f(X)$ 的假设空间 $\mathcal{F}$：包含所有可能的条件概率分布或决策函数。
   • 假设空间 定义为 决策函数的集合：
     • F = { f ∣ Y = f ( X ) } \mathcal{F}=\{f|Y=f(X)\} F={f∣Y=f(X)}，其中，$X$ 和 $Y$ 是定义在输入空间 $\mathcal{X}$ 和输出空间 $\mathcal{Y}$ 上的变量
     • F = { f ∣ Y = f θ ( X ) , θ ∈ R n } \mathcal{F}=\{f|Y=f_{\theta}(X), \theta\in R^n\} F={f∣Y=fθ​(X),θ∈Rn}，其中，$\theta$ 称为参数空间（parameter space），取值于 $n$ 维欧式空间 $R^n$ 。
   • 假设空间定义为条件概率的集合：
     • F = { P ∣ P ( Y ∣ X ) } \mathcal{F}=\{P|P (Y|X)\} F={P∣P(Y∣X)}
     • F = { P ∣ P θ ( Y ∣ X ) , θ ∈ R n } \mathcal{F}=\{P|P_\theta (Y|X), \theta\in R^n\} F={P∣Pθ​(Y∣X),θ∈Rn}

2. 策略

   • 损失和风险

     • 损失函数度量模型一次预测的好坏，风险函数度量平均意义下模型预测的好坏

     • 常用的损失函数

       （1）$0-1$ 损失函数（0-1 loss function）：$L(Y,f(X))=\{\begin{array}{ll}1,& Y̸=f(X)\\ 0,& Y=f(X)\end{array}$

       （2）平方损失函数（quadratic loss function）：$L(Y,f(X))=(Y-f(x){)}^2$

       （3）绝对损失函数（absolute loss function）：$L(Y,f(X))=|Y-f(x)|$

       （4）对数损失函数（logarithmic loss function）或 对数似然损失函数（log-likelihood loss function）：$L(Y,P(Y|X))=-\log P(Y|X))$

     • 风险函数（risk function）或 期望损失（expected loss）：即损失函数的期望

       $$R_{exp}(f)=E_P[L(Y,f(X))]={\int }_{\mathcal{X}\times \mathcal{Y}}L(y,f(x))P(x,y)dxdy$$

     • 经验风险（empirical risk）或 经验损失（empirical loss）：模型 $f(X)$ 关于训练集 $T$ 的平均损失

       $$R_{emp}(f)=\frac{1}{N}\sum _{i=1}^{N}L(y_i,f(x_i))，当N\to \infty 时，R_{emp}(f)\approx R_{exp}(f)。$$

       根据大数定律，当样本容量趋于无穷时，经验损失趋于期望损失。所以一个很自然的想法是用经验损失 来估计 期望损失。

   • 监督学习的两个基本策略：经验风险最小化和结构风险最小化

   • 经验风险最小化：经验风险最小的模型是最优的模型

     $$\underset{f\in \mathcal{F}}{\min }{R}_{emp}(f)=\underset{f\in \mathcal{F}}{\min }\frac{1}{N}\sum _{i=1}^{N}L(y_i,f(x_i))$$

   • 结构风险最小化（正则化）（structural risk minimization，SRM）：结构风险最小的模型是最优的模型

     • 结构风险

       • 结构风险：经验风险 + 正则化项（regularizer）或罚项(penalty term)
         $$R_{srm}(f)=R_{emp}(f)+\lambda J(f)=\frac{1}{N}\sum _{i=1}^{N}L(y_i,f(x_i))+\lambda J(f)$$
       • $J(f)$ 为模型的复杂度，是定义在假设空间$\mathcal{F}$ 上的泛函。
         • 模型$f$ 越复杂，$J(f)$ 就越大；模型$f$ 越简单，$J(f)$ 就越小。
       • $\lambda \ge 0$ ，是一个系数，用以权衡经验风险和模型复杂度

     • 结构风险最小化
       $$\underset{f\in \mathcal{F}}{\min }{R}_{srm}(f)=\underset{f\in \mathcal{F}}{\min }\frac{1}{N}\sum _{i=1}^{N}L(y_i,f(x_i))+\lambda J(f)$$

3. 算法

   • 机器学习问题归结为最优化问题
   • 机器学习的算法成为 求解最优化问题（损失/风险最小化）的算法