机器学习(西瓜书笔记) 第3章 线性模型

第3章 线性模型

3.1 基本形式

线性模型函数公式：
$$f(x)=w_1{x}_1+w_2{x}_2+\cdots +w_d{x}_d+b$$
线性模型的向量公式：
$$f(x)=w^{T}x+b$$

3.2 线性回归(Linear regression)

def :线性回归试图学得一个线性模型，以尽可能准确地预测真实值

公式：
$$f(x_i)=w{x}_i+b,使得f(x_i)\simeq y_i$$

3.3 对数几率回归

将z转化成接近0或1的y值

公式：
$$y=\frac{1}{1+e^{-z}}$$

3.4 线性判别分析(Linear Discriminant Analysis–LDA)

思路：给定训练样例集，设法将样例投影于一条直线上，使同类样例的投影点尽可能接近，异类样例的投影点尽可能远离；在对新样本分类时，将其投影到同样这条线上，再根据投影点位置判断样本类别。

分类：2分类LDA和多分类LDA

①.2分类LDA

LDA欲优化目标：
$$J=\frac{w^T{s}_{b}w}{w^T{s}_{w}w}$$
其中：
$$w=s_w^{-1}({\eta }_0-{\eta }_1)$$

$$s_b=({\eta }_0-{\eta }_1)({\eta }_0-{\eta }_1{)}^T$$

$$s_w={\Sigma }_0+{\Sigma }_1=\sum _{xϵx_0}(x-{\eta }_0)(x-{\eta }_0{)}^T+\sum _{xϵX_1}(x-{\eta }_1)(x-{\eta }_1{)}^T=U\Sigma V^T$$

$$\eta 0-表示第0类样本的均值向量$$

$$\eta 1-表示第1类样本的均值向量$$

$$\Sigma -一个对角矩阵，对角线元素之和为s_w的奇异值$$

②多分类LDA

意义：
将w视为投影矩阵，多分类LDD将样本投影到d’维空间，由于d’通常远小于原d(数据原有的属性)，故可通过此方法减小样本点的维数
优化目标：
$$ma{x}_x\frac{tr(w^T{s}_{b}w)}{tr(w^T{s}_{w}w)}$$
广义优化目标：
$$s_{b}w=\lambda s_{w}w$$
其中：
$$s_t=s_b+s_w=\sum _{i=1}^m(x_i-\eta )(x_i-\eta {)}^T$$

$$s_{w_i}=\sum _{x\in x_i}(x-{\eta }_i)(x-{\eta }_i{)}^T$$

$$s_w=\sum _{i=1}^N{s}_{wi}$$

$$s_b=s_t-s_w=\sum _{i=1}^N{m}_i({\eta }_i-\eta )({\eta }_i-\eta {)}^T$$

$$W-是s_w^{-1}{s}_b的d^{’}个最大非零广义特征值所对应的特征向量组成的矩阵，其中d^{{}^{\prime }}\le N-1$$

3.5 多分类学习

不清楚啥用

3.6 类别不平衡问题

1.定义：

类比额不平衡（class-imbalance）问题指分类任务中不同列别的训练样例数目差别很大的情况。例如有998个反例，但正例仅有2个，那么学习方法只需返回一个永远将新样本预测为反例的学习器，即可达到99.8%的精度，但是这个学习器没有价值，因为它不能预测出任何正例

2.策略：

再缩放(rescaling):
$$\frac{y^{’}}{1-y^{{}^{\prime }}}=\frac{y}{1-y}\times \frac{m^{-}}{m^{+}}$$
3种再缩放的方式：

• 欠采样(undersampling):

​ 对训练集中的反例欠采样，去除一些反例使得正反比例数目接近，然后再学习

• 过采样(oversampling):

对训练中的正例进行过采样，增加一些正例使得正反例数目接近，然后再学习

• 阈值移动(threshold-moving):

直接基于原始训练集进行学习，但在用测试好的分类器进行预测时，将再缩放公式嵌入到决策过程中

3.代价敏感学习：
$$代价敏感学习=\frac{y}{1-y}\times \frac{cos{t}^{+}}{cos{t}^{-}}$$
其中：
$$cos{t}^{+}-将正例误分为反例的代价$$

$$cos{t}^{-}-将反例误分为正例的代价$$