机器学习复习(三):线性模型
一、基本形式
二、线性回归
D = { ( x 1 , y 1 ) , … , ( x i , y i ) , … , ( x m , y m ) } D=\{(\bold{x_1},y_1),\dots,(\bold{x_i},y_i),\dots,(\bold{x_m},y_m)\} D={(x1,y1),…,(xi,yi),…,(xm,ym)}
其中, x i = ( x i 1 ; x i 2 ; … ; x i d ) , y i ∈ R \bold{x_i}=(x_{i1};x_{i2};\dots;x_{id}),\quad y_i \in \mathbb{R} xi=(xi1;xi2;…;xid),yi∈R
d = 1 d=1 d=1
最简单,输入属性的数目只有一个
即, D = { ( x i , y i ) } i = 1 m D=\{(x_i,y_i)\}_{i=1}^m D={(xi,yi)}i=1m,其中 x i ∈ R x_i \in \mathbb{R} xi∈R
数据预处理
属性:
- 连续属性
- 离散属性
- 属性值间存在序关系
- 连续化 → \to →连续值
- 不存在序关系
- 向量化 → \to → k k k维向量
- 属性值间存在序关系
模型
f ( x i ) = w x i + b f(x_i)=wx_i+b \quad f(xi)=wxi+b,使 f ( x i ) ⋍ y i f(x_i)\backsimeq y_i f(xi)⋍yi
确定 w , b w,b w,b,参数估计
均方误差(平方损失)最小化,即
KaTeX parse error: {split} can be used only in display mode.
最小二乘法:基于均方误差最小化进行模型求解的方法
E ( w , b ) = ∑ i = 1 m ( y i − w x i − b ) 2 E(w,b)=\sum_{i=1}^m(y_i-wx_i-b)^2 E(w,b)=∑i=1m(yi−wxi−b)2
∂ E ( w , b ) ∂ w = ⋯ = 0 \frac{\partial{E(w,b)}}{\partial{w}}=\cdots=0 ∂w∂E(w,b)=⋯=0
∂ E ( w , b ) ∂ b = ⋯ = 0 \frac{\partial{E(w,b)}}{\partial{b}}=\cdots=0 ∂b∂E(w,b)=⋯=0
解得:
w = ∑ i = 1 m ( x i − x ‾ ) ( y i − y ‾ ) ∑ i − 1 m ( x i − x ‾ ) 2 w=\frac{\sum_{i=1}^m(x_i-\overline{x})(y_i-\overline{y})}{\sum_{i-1}^m(x_i-\overline{x})^2} w=∑i−1m(xi−x)2∑i=1m(xi−x)(yi−y)
b = 1 m ∑ i = 1 m ( y i − w x i ) b=\frac{1}{m}\sum_{i=1}^m(y_i-wx_i) b=m1∑i=1m(yi−wxi)
多元线性回归
引入正则化项
对数线性回归
广义线性模型
三、对数几率回归
分类学习方法,预测结果:类别、概率
单位阶跃函数:
KaTeX parse error: \tag works only in display equations
单位阶跃函数不连续
对数几率函数(Sigmoid函数):
KaTeX parse error: \tag works only in display equations
极大似然法
四、线性判别分析LDA
思想:
- 给定训练样例集,设法将样例投影到一条直线上,使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离
- 在对新样本进行分类时,将其投影到同样的这条直线上,再根据投影点的位置来确定样本的类别
投影维度$d^{'}\quad \leq \quad 分类数 分类数 分类数N-1$
降维:
- PCA
- LDA:有监督
五、多分类学习
拆分策略
D = { ( x 1 , y 1 ) , … , ( x m , y m ) } , D=\{(\bold{x_1},y_1),\dots,(\bold{x_m},y_m)\}, D={(x1,y1),…,(xm,ym)},
y i ∈ { C 1 , C 2 , … , C N } y_i \in \{C_1,C_2,\dots,C_N\} yi∈{C1,C2,…,CN}
- 一对一
O
v
O
{OvO}
OvO
- 两两配对,== N ( N − 1 ) 2 \frac{N(N-1)}{2} 2N(N−1)==个二分类任务
- 投票
- 一对其余
O
v
R
OvR
OvR
- 一个类的样例作为正例、所有其他类的样例作为反例,== N N N==个分类器
- 置信度
- 多对多
M
v
M
MvM
MvM
- 纠错输出码
- 距离
六、类别不平衡问题
基本策略:再缩放(再平衡)
若 y 1 − y > m + m − \frac{y}{1-y} > \frac{m^+}{m^-} 1−yy>m−m+,则预测为正例
实际执行,KaTeX parse error: \tag works only in display equations
假设:训练集是真实样本总体的无偏采样
实际:很难实现
现有技术三类做法:
- 欠采样
- 去除反例,使正反例数目接近
- 过采样
- 增加正例,使正反例数目接近
- 阈值移动
- 直接基于原始数据集,式 3.61 3.61 3.61嵌入其决策过程