机器学习 -- 《机器学习》(周志华) 第三章

机器学习 – 《机器学习》(周志华) 第三章

笔记

1. 正交回归
   点距离线的距离是正交回归

2. 线性回归
   点垂直方向到线的距离

3. 将离散特征转为线性公式
   

4. 极大似然估计

   1. 用途：估计概率分布的参数值
   2. 方法：
      1. 写出随机变量X的概率密度函数
      2. 写出似然函数
      3. 求出使得L(μ，σ^2) 取到最大值的μ，σ

5. 概率密度函数

6. 最小二乘法
   基于方误差最小化来进行求解的方法

7. 凸集¹
   凸函数时需要，最优化领域凹凸性与高数中不同

8. 梯度
   梯度为 多元 函数的一阶导数

9. 线性判别分析
   给定训练集，将样例进行投射。同类型的样例点尽可能接近，不同的样例尽可能远；在对样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别

10. 多分类学习

    1. 思路：利用“拆解法”将多分分类任务拆解为多个二分类任务，逐一解决的一种思路
    2. 常用拆分策略
       1. 一对一 OvO
       2. 一对其余 OvR
       3. 多对多 MvM

11. ECOC(Error Correcting Output Codes) 纠错输出码
    是MvM 常用技术，是将编码的思想引入类别拆分，并尽可能在解码过程中具有容错性

注

常用数学符号

使用搜狗输入法可直接输入

1. alpha —— α
2. beta —— β
3. gamma —— γ
4. theta —— θ
5. eta —— η

---

1. 学习凸集，推荐 《最优化基础理论与方法》（王燕军） ↩︎