Task03 线性模型

1. 基本形式：

• 向量形式：

• x = (x1;x2;...;xd), 其中xi是x在第i个属性上的取值，w = (w1;w2;...;wd), w和b学得之后，模型就得以确定。

2. 几种经典的线性模型：

1. 线性回归

1. “ 线性回归 ” （ linear regression) 试图学得一个线性模型以尽可能准确地预测实值输出标记 ．

2. 如何确定w和b?

1. 可利用最小二乘法来对w 和 b 进行估计 ．

2. 将E(w,b)分别对w和b求导

3. 得到 w 和 b 最优解的闭式 (closed-form) 解

2. 多元线性回归

1. 形式：

2. 如何确定w和b?

1. 可利用最小二乘法来对w 和 b 进行估计 ．

2. 令上式为零可得最优解的闭式解

3. 当 xTx 为满秩矩阵或正定矩阵时

4. xTx 不是满秩矩阵

1. 引入正则化项 ，决定选择哪一个解作为输出

3. 对数线性回归

1. 线性模型的预测值逼近真实标记时 ， 就得到了线性回归模型 ．

4. 广义线性模型

1. 考虑单调可微函数g(*)， 令

这样得到的模型称为 “ 广义线性模型 ”.

3. 对数几率回归

1. 应用场景：分类任务

2. 对数几率函数：

3. 如何确定w和b?

1. 将y视为类后验概率估计 p(y = 1|x)

2. 变换得

3. 通过“ 极大似然法 " 估计w和b

4. 根据凸优化理论，经典的数值优化算法如梯度下降法、牛顿法等求得最优解

4. 线性判别分析

1. 定义：线性判别分析（简称LDA）是一种经典的线性学习方法

LDA思想：给定训练样例集 ， 设法将样例投影到一条直线上 ，使得同类样例的投影点尽可能接近 、 异类样例的投影点尽可能远离 ； 在对新样本进行分类时 ， 将其投影到同样的这条直线上 ， 再根据投影点的位置来确定新样本的类别 ， 图 3.3 给出了一个二维示意图 ．(《机器学习》-周志华 第3章 线性回归模型)