机器学习的基本分类和基本问题

• 机器学习的基本分类

  • 按映射类型分类

    • 归纳(induction)
    • 演绎(deduction)
    • 类比(analogy)
    • 转导(transduction)

  • 按反馈类型分类

    • 有监督学习(supervised learning)

      • 分类(classification)
      • 回归(regression)

    • 无监督学习(unsupervised learning)

      • 聚类(cluster)
      • 关联规则(association rule)

    • 再励学习(reinforcement learning)

      • 奖励(reward)
      • 惩罚(punishment)

    • 半监督学习(semi-supervised learning)

      • 部分数据有标注
      • 部分数据无标注

---

• 机器学习的基本问题

  • 可学习性(learnability)

    • 可表示(representability)

      • 表示语言(representation language)
      • 有限表示(finite representation)
      • 可压缩性(compressibility)

    • 可行性(feasibility)

      • 可计算(computable)
      • 有效的(efficient)：渐近多项式复杂性
      • 可靠的(sound)：一致性、稳健性等

  • 适用性(applicability)

    • 是否一定需要机器学习？

      灵活、稳健与可靠、有效的抉择

    • 是否存在通用的学习机器？

      没有免费的午餐定理(No Free Lunch Theorem)

      David Wolpert and William Macready appears in the 1997 “No Free Lunch Theorems for Optimization”.

    • 任一问题存在最优的学习机器，任一学习机器存在最优的问题！

    • To learn or not to learn, that is a question!

  • 罗生门(Rashomon)：好模型的多样性

    • 好模型准则

      • 奥卡姆剃刀(Occam’s Razor)

        William of Occam(1285?-1349): Entia non sunt multiplicanda praeter necessitatem.

        若无必需，勿增实体

      • 多解释原理(Principle of Multiple Explanation)

        Epicurus(324?-270?,B.C.): If more than one theory is consistent with the observation, keep all theories.

    • 多样性示例

      • Lagrange插值，过数据点

      • 多项式拟合，最小二乘法

    • 统计学习基本问题：

      给定：
      S = { X × Y } i = 1 n = { ( x 1 , y 1 ) , … , ( x n , y n ) } , S 上 具 有 固 定 但 未 知 的 分 布 P ( X , Y ) 并 且 l ( x , y ) = ( x − y ) 2 . \begin{aligned}&S=\{X×Y\}_{i=1}^{n}=\{(x_1,y_1),\dots,(x_n,y_n)\},\\&S上具有固定但未知的分布P(X,Y)\\&并且l(x,y)=(x-y)^2.\end{aligned} ​S={X×Y}i=1n​={(x1​,y1​),…,(xn​,yn​)},S上具有固定但未知的分布P(X,Y)并且l(x,y)=(x−y)2.​

      目标：
      $$\begin{array}{r}找出\hat{f}(x)来拟合f(x).\end{array}$$

  • 理论基础

    • 数学
    • 统计学
    • 信息论
    • 计算理论
    • PAC(probably approximately correct)
    • SLT(statistical learning theory)

  • 其他学习理论(数学学习理论、算法学习理论等)

    • 技术支持
    • 芯
    • 网
    • 多Agent系统(MAS)
    • 人工智能+大数据+云计算(ABC)
    • 众包(crowdsourcing)