3.线性模型

机器学习复习（三）：线性模型

一、基本形式

---

二、线性回归

$D=\{({\mathbf{x}}_1,y_1),\dots ,({\mathbf{x}}_{\mathbf{i}},y_i),\dots ,({\mathbf{x}}_{\mathbf{m}},y_m)\}$

其中，${\mathbf{x}}_{\mathbf{i}}=(x_{i1};x_{i2};\dots ;x_{id}),y_i\in \mathbb{R}$

$d=1$

最简单，输入属性的数目只有一个

即，$D=\{(x_i,y_i){\}}_{i=1}^m$,其中$x_i\in \mathbb{R}$

数据预处理

属性：

1. 连续属性
2. 离散属性
   • 属性值间存在序关系
     • 连续化$\to$连续值
   • 不存在序关系
     • 向量化$\to$$k$维向量

模型

​ $f(x_i)=w{x}_i+b$,使$f(x_i)\backsimeq y_i$

确定$w,b$，参数估计

均方误差（平方损失）最小化，即

​ KaTeX parse error: {split} can be used only in display mode.

最小二乘法：基于均方误差最小化进行模型求解的方法

​ $E(w,b)={\sum }_{i=1}^m(y_i-w{x}_i-b{)}^2$

​ $\frac{\partial E(w,b)}{\partial w}=\cdots =0$

​ $\frac{\partial E(w,b)}{\partial b}=\cdots =0$

解得：

$w=\frac{{\sum }_{i=1}^m(x_i-\overline{x})(y_i-\overline{y})}{{\sum }_{i-1}^m(x_i-\overline{x}{)}^2}$

$b=\frac{1}{m}{\sum }_{i=1}^m(y_i-w{x}_i)$

多元线性回归

引入正则化项

对数线性回归

广义线性模型

---

三、对数几率回归

分类学习方法，预测结果：类别、概率

单位阶跃函数：

KaTeX parse error: \tag works only in display equations

单位阶跃函数不连续

对数几率函数（Sigmoid函数）：

KaTeX parse error: \tag works only in display equations

极大似然法

---

四、线性判别分析LDA

思想：

• ​给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离
• 在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定样本的类别

投影维度$d^{'}\quad \leq \quad $分类数$N-1$

降维：

1. PCA
2. LDA：有监督

---

五、多分类学习

拆分策略

$D=\{({\mathbf{x}}_1,y_1),\dots ,({\mathbf{x}}_{\mathbf{m}},y_m)\},$

y i ∈ { C 1 , C 2 , … , C N } ​ y_i \in \{C_1,C_2,\dots,C_N\}​ yi​∈{C1​,C2​,…,CN​}​

1. 一对一$OvO$
   • 两两配对，==$\frac{N(N-1)}{2}$==个二分类任务
   • 投票
2. 一对其余$OvR$
   • 一个类的样例作为正例、所有其他类的样例作为反例，==$N$==个分类器
   • 置信度
3. 多对多$MvM$
   • 纠错输出码
   • 距离

---

六、类别不平衡问题

基本策略：再缩放（再平衡）

若$\frac{y}{1-y}>\frac{m^{+}}{m^{-}}$，则预测为正例

实际执行，KaTeX parse error: \tag works only in display equations

假设：训练集是真实样本总体的无偏采样

实际：很难实现

现有技术三类做法：

1. 欠采样
   • 去除反例，使正反例数目接近
2. 过采样
   • 增加正例，使正反例数目接近
3. 阈值移动
   • 直接基于原始数据集，式$3.61$嵌入其决策过程