《机器学习》周志华-CH3（线性模型）

3.1基本形式

  $\alpha$个属性描述示例化$x=(x_1,x_2,...,x_d)$其中$x_i$是$x$在第$i$个属性取值。线性模型(liner model)通过属性的线性组合预测函数。

$$\begin{array}{c}f(x)=w_1{x}_1+w_2{x}_2+...+w_d{x}_d+b\end{array}\text{\hspace{1em}(3.1)}$$
  将式（3.1）转化为向量形式

$$\begin{array}{c}f(x)=w^T+b\end{array}\text{\hspace{1em}(3.2)}$$

  其中$w=(w_1,w_2,...,w_d)$

  $w,b$学得后，模型确定

  线性模型有很好的解释性，更多非线性模型可在线性模型基础上引入层级结构构成高维映射可得

3.2线性回归

  有序关系: 连续变化为连续值，如高矮 { 1 , 0 } \{1,0\} {1,0}；高中低 { 1 , 0.5 , 0 } \{1,0.5,0\} {1,0.5,0}

  不存在有序关系: $k$个属性值，$k$维向量,例如属性“瓜类”的取值“西瓜”、“南瓜”、“黄瓜”可转化为$(0,0,1),(0,1,0),(1,0,0)$

  线性回归试图学得：

$$\begin{array}{c}f(x)=w{x}_i+b,使得f(x_i)\approx y_i\end{array}\text{\hspace{1em}(3.3)}$$

  那么如何确定$w,b?$

  多元线性回归

  从对数转为线性了。

  广义线性模型

$$\begin{array}{c}y=g^{-1}(w^{T}x+b)\end{array}\text{\hspace{1em}(3.15)}$$

  $g(\cdot )$单调可微。“联系函数”，对数线性回归是广义的特例。

3.3对数几率回归

  考虑二分类任务，输出标记 y ∈ { 0 , 1 } y\in\{0,1\} y∈{0,1}

  线性回归预测值$z=w^{T}x+b$,只需将$z$转换为$0/1$

  最理想的是“单位阶跃函数”（unit-step function）

$$\begin{array}{c}y=\{\begin{array}{ll}0& z<0\\ 0.5& z=0\\ 1& z>0\end{array}\end{array}\text{\hspace{1em}(3.16)}$$

  若预测值大于零判为正例，小于零判为反例

  单位阶跃函数不连续

  对数几率函数（logistic function）在一定程度上近似单位阶跃函数。是常用的替代函数:

  解读：$y$视为样本正例可能性，则$1-y$是其反例可能性

  “几率”：反映作为正例的相对可能性：
$$\begin{array}{c}\frac{y}{1-y}\end{array}\text{\hspace{1em}(3.20)}$$

  对数几率
$$\begin{array}{c}ln\frac{y}{1-y}\end{array}\text{\hspace{1em}(3.20)}$$
  (3.18)用线性回归模型预测结果去逼近真实标记的对数几率。称为"对数几率回归"。

  通过“极大似然法”估计$w和b$，给定数据集$\{(x_i,y_i){\}}_{i=1}^m$,对数几率回归模型最大化“对数似然”（le-libehood）

3.4线性判别分析

  线性判别分析(Linear Discriminant Analysis,简称 LDA)是一种经典的线性学习方法,在二分类问题上因为最早由|Fisher,1936]提出,亦称“Fisher 判别分析”

  LDA思想： 投影到一条直线上，同类样例尽可能近；异类样例尽可能远。


  投影直线为$w$

  两类样本中心在直线上投影为$w^T{u}_0,w^T{u}_1$

  两类样本的方差：$w^T{\sum }_{0}w,w^T{\sum }_{1}w$

3.5多分类学习

  考虑$N$个类别$C_1,C_2...C_N$,多分类学习基本思路是“拆解法”

$$拆分策略\{\begin{array}{ll}1、“一对一”(One\vee One)& O\vee O\\ 2、“一对其余”(One\vee Rest)& O\vee R\\ 3、“多对多”(Many\vee Many)& M\vee M\end{array}$$

  给定数据集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) . . . ( x m , y m ) } , y i ∈ { c 1 , c 2 . . . c N } D=\{(x_1,y_1),(x_2,y_2)...(x_m,y_m)\},y_i\in\{c_1,c_2...c_N\} D={(x1​,y1​),(x2​,y2​)...(xm​,ym​)},yi​∈{c1​,c2​...cN​}

  $O\vee O:$ $N$个类别两两配对：$C_N^2=\frac{N(N-1)}{2}$个分类任务

  $O\vee R:$每次将一个类作为正例，其他部分反例训练$N$个分类器

• $O\vee R:$为$N$个分类器，$O\vee O$为$\frac{N(N-1)}{2}$个

• $O\vee O$存储开销，测试时间开销比$O\vee R$大

• $O\vee O$每次只用2个，$O\vee R$用所有，所以$O\vee O$训练时间比$O\vee R$小。

• 性能两个差不多

  $M\vee M:$ 每次将若干个类作为正类，若干个其他类作为反类。正反类构造不能随意。

常用的$M\vee M$技术：纠错输出码（Error Correcting Output Codes）EOOC

EOOC步骤：

1. 编码：对$N$个类别进行$M$次划分，每次划分一部分正，一部分反。共产生$M$个训练集，训练$M$个分类器。
2. 解码：$M$个分类器分别对测试样本预测，预测组成编码。将预测编码和类别编码比较，返回距离最小的为最终预测。

  编码矩阵有多种形式，常见二元码（正、反例），三元码（正，反，停用类）。

  一般而言：

• EOOC编码越长，纠错能力越强
• 编码越长，意味着分类器越多，计算存储都会增大
• 有效类别数，组合数有限，越过一定值就失去意义

  同等长度编码，理论上，任意两类之间编码距离越远，纠错能力越强。

3.6类别不平衡问题

  类别不平衡指分类任务中不同类别训练样例数目相差较大的情况，如998个反例，2个正例，如果全判反，$99.8\%$精度，无意义。

  线性分类器，$y=w^{T}x+b$，对$x$预测时，$y>0.5$为正例，否则为反例。几率$\frac{y}{1-y}$反映了正反例的比值

  而0.5恰表明分类器认为正反例数目相同，$\frac{y}{1-y}$>1 预测为正例。（3.46）

  实例中，正例为$m^{+}$,反例为$m^{-}$，则$\frac{y}{1-y}>\frac{m^{+}}{m^{-}}$则预测为正例。（3.47）

  三类方法：

• 反例“欠采样”
• 正例“过采样”
• “阈值移动”