Task2 线性回归模型

TASK2

线性模型

线性模型：

使用向量形式写成

线性回归

确定w和b的方法，使均方误差最小化

对于该公式的解释是：，其中“arg”是“argument”（参数）的前三个字母，“min”是“minimum”（最小值）的前三个字母，该符号表示求使目标函数达到最小值的参数取值。

最小二乘法

使用最小二乘法确定w和b，分别对w和b进行求导

对于w求导的过程：

对b求导的过程：

分别使上述导数为0，分别得出

多元线性回归

对于多元线性回归，可以进行如下推导：


根据向量内积的定义可知，上式可以写成如下向量内积的形式



对其求导可得

== 求海塞矩阵判定其正定性（二阶导数），求凸函数最值问题 ==

假定 XTX 为正定矩阵，为严格凸函数，求全局最优解只需令 Eˆw 关于 ˆw 的一阶导数等于零向量

对数几率回归

二分类任务，正例为1反例为0

线性判别分类

使同类样例投影尽可能近，不同类尽可能远，对新样本投影到这条直线上根据位置判断类别。

异类样例中心尽可能远：↓

求广义瑞利商：