ML21_线性模型_核心知识点 机器学习

1. 线性模型=用属性的线性组合来进行预测。

---

2. 线性模型的优点
   1. 简单
   2. 可解释
   3. 易多层组合成非线性

---

3. 线性模型处理离散属性
   1. 有序的–>转化为连续值
   2. 无序的–>转化为多维向量

---

4. 最小二乘法=基于最小化均方误差进行模型求解

---

5. $X^{T}X$不满秩时可以解出多个最优模型，此时根据偏好或者正则化求解

---

6. 阶跃函数用于将线性模型的连续值映射成离散值。

---

7. 对数几率函数
   1. 思想：用线性模型结果逼近真实标记的对数几率
   2. 优点
      1. 无须假设分布
      2. 可以得到概率
      3. 目标函数任意阶可导，可以采用一般的数值优化方法
   3. 参数求解：y=后验概率–>对数似然–>目标函数–>极值问题

---

8. LDA线性判别分析
   1. 特点：有监督降维。对比PCA。
   2. 思路
      1. 训练：求一条直线，使得同类样本投影近，异类样本投影远。
      2. 预测：将样本投影到直线，寻找最近的类。
   3. 数学表示：类内散度矩阵 类间散度矩阵 瑞利商
   4. 对比PCA：适用于有标签的情况。

---

9. 多分类问题
   1. OVO
      1. 思路：每两类组成一个分类器
      2. 结果：落入最多的一类
   2. OVR
      1. 思路：一个为正，其余为负。有多少类就有多少个。
      2. 结果：选择置信度最高的。
   3. MVM
      1. 思路：若干个类划为正，其余划为负。
      2. 方法：使用纠错码进行类正负划分。
      3. 结果：距离最近的类。
   4. 方法对比
      1. OVO数据集远小于OVR，训练块；
      2. OVO学习器个数远大于OVR，存储测试开销大。

---

10. 类别不平衡问题
    1. 问题描述：正负例数量不接近
    2. 解决思路：再缩放
    3. 要求：训练集是无偏采样（很难实现）
    4. 其他解决方法
       1. 欠采样：放弃多的一类样本
       2. 过采样：重新产生少的一类样本。往往采用插值方法。
       3. 阈值移动：类似再缩放。