我的机器学习笔记（二）--- 监督学习

我的机器学习笔记（二）— 监督学习

一、监督学习的内容；

二、监督学习的定义；

三、监督学习的数学描述；

四、监督学习的常见任务。

一、监督学习的内容

• 要有许多样本
• 每个样本要有明确的答案
• 犯错会被惩罚
• 多次练习直至不再犯错

二、监督学习的定义

监督学习（supervised learning）

• 从给定的有标注的训练数据集中学习出一个函数（模型参数），当新的数据到来时可以根据这个函数预测结果。

三、监督学习的数学描述

• 给定一些训练样本：{(xi，yi),1<i<N};

• 其中xi是输入，yi是需要预测的目标。

• 计算机自动寻找一个决策函数F(·)来建立x与y之间的关系：

  • y^ = f(Φ(x),θ),
  • 其中：Φ是一种函数变换，θ是模型参数

• 选取参数θ使得预测结果与预测目标y之间的差别尽可能小。

• 注意：

  • 算法参数 — 超参数，hyperparameters，由人为指定，不指定时取默认值
  • 模型参数 — 参数，parameters，由模型自行学习、自动更新。
    • 权重 – weight
    • 偏置 – bias

四、监督学习的常见任务

• 分类
  • K近邻 – KNN
  • 决策树
  • 支持向量机模型 – SVM
• 回归