人工智能学习笔记

机器学习初探（第二波~）

三、线性模型

​ 线性模型的优点

• 形式简单、易于建模
• 可解释性
• 非线性模型的基础
  • 引入层级结构或高维映射

1、线性回归

• 目的：

  学习、以获得一个线性模型以尽可能准确地预测实值输出标记

• 离散属性处理

  • 若有“序”，连续化为连续值
  • 若无“序”
    • 有K个属性值，则转换为K维向量
    • 若将无序属性连续化，则会不恰当地引入序关系，对后续处理造成误导

• 单一属性的线性回归目标

  • 参数/模型估计：最小二乘法——最小化均方误差

• 多元线性回归

  • 最小二乘法

  • 满秩讨论

    当回归模型中
    $$X^{T}X$$
    不是满秩矩阵时：

    • 根据归纳偏好选择解
    • 引入正则化

2、对数线性回归

• 虽形式上为线性回归，实质是在求输入空间到输出空间非线性函数映射
• 对数函数起到了将线性回归模型的预测值与真实标记联系起来的作用

3、广义线性模型

一般形式：
$$y=g^{-}1(w^{T}x+b)$$
联系函数：单调可微

4、二分类任务

• 预测值与输出标记

• $$\begin{gathered} z=w^{T}x+b \\ y\in 0，1 \end{gathered}$$

• 寻找函数将分类标记与线性回归模型输出联系起来

  • 最理想的函数——单位阶跃函数
    • 缺点：不连续，不能直接用作联系函数
    • 寻找一个符合条件的i带函数 对数几率函数
      • 单调可谓，任意阶可导

5、对数几率回归

• 对数几率

  若将y视作样本x作为正例的可能性，则1-y作为其反例的可能性，两者的比值称为“几率”，反应了x作为正例的相对可能性，对几率取对数则得到“对数几率”，即x作为正例的相对可能性的对数

• 本质上是用线性回归模型的预测结果去逼近真实标记的对数几率；

• “回归”——实际上是一种分类学习方法

• 优点：

  • 直接对分类可能性进行建模，无需事先假设数据分布，避免了假设分布不准确带来的问题；
  • 可得到“类别”的近似概率预测；
  • 对数几率回归的目标函数是任意阶可导的凸函数，可直接应用现有数值优化算法求取最优解；

• 极大似然法

6、线性判别分析

​ LDA是一种经典的线性学习方法，也可被视为一种监督降维技术。

​ 思想：

• 欲使同类样例的投影点尽可能接近，可以让同类样例投影点的协方差尽可能小

• 欲使异类样例的投影点尽可能远离，可以让类中心之间的距离尽可能大

  • 最大化目标
  • 类内散度矩阵
  • 类间散度矩阵
  • 广义瑞利商
  • 拉格朗日乘子法
  • 同向向量
  • 求解 ：奇异值分解

• LDA的贝叶斯决策论解释：

  两类数据同先验、满足高斯分布且协方差相等时，LDA达到最优化。

7、多分类任务

​ 多分类LDA将样本投影到N-1维空间，N-1通常小于数据原有的属性数，因此LDA也被视为一种监督降维技术。

​ ECOC编码对分类器错误有一定容忍和修正能力，编码越长，纠错能力越强。

8、类别不平衡问题

• 类别不平衡
• 再缩放
  • 欠采样——去除一些反例
  • 过采样——增加一些正例
  • 阈值移动