机器学习概述

概念和原理

因为现实世界中的问题都比较复杂，很难通过规则来手工实现，所以要“机器学习”

机器学习：通过算法使得机器能从大量数据中学习规律从而对新的样本做决策
规律：决策（预测）函数

常见的机器学习问题包括回归、分类、聚类

机器学习三要素

模型
线性方法

广义线性方法

学习准则
期望风险

• 期望风险未知，通过经验风险近似

• 经验风险最小化
  在选择合适的风险函数后，寻找一个参数，使得经验风险函数最小化
  

• 机器学习问题转化成最优化问题

• 可以优化以经验风险最小，正则化以降低模型复杂度来减少泛化误差

损失函数

• 0-1损失函数
  

• 平方损失函数
  

优化
梯度下降

• 随机梯度下降法（增量梯度下降）：每个样本都进行更新
• 小批量随机梯度下降法

线性回归

模型

以线性回归为例

优化方法

• 经验风险最小化（最小二乘法）
  模型
  
  学习准则
  
  优化
  

• 结构风险最小化（岭回归）
  学习准则
  
  得到
  

常见的线性回归还包括最大似然估计 、最大后验估计

常见的机器学习类型

如何选择一个合适的模型

• 模型选择
  拟合能力强的模型一般复杂度会比较高，容易过拟合。
  如果限制模型复杂度，降低拟合能力，可能会欠拟合。
• 偏差与方差分解
  

常用的定理

没有免费午餐定理（No Free Lunch Theorem，NFL）
对于基于迭代的最优化算法，不存在某种算法对所有问题（有限的搜索空间内）都有效。如果一个算法对某些问题有效，那么它一定在另外一些问题上比纯随机搜索算法更差。
丑小鸭定理(Ugly Duckling Theorem)
丑小鸭与白天鹅之间的区别和两只白天鹅之间的区别一样大。
奥卡姆剃刀原理(Occam’s Razor)
如无必要，勿增实体