3.1基本形式
给定d个属性描述的示例,其中
是x的第i个属性上的取值。
线性模型试图学得一个通过属性的线性组合来预测的函数,即
3.2线性回归
使用均方误差来进行性能度量,最小化均方误差
求解w和b使得的方法为最小二乘法,分别对w和b求导得到w和b的最优解
同理,我们也可以用最小二乘法进行多元线性回归。
当我们认为输出标记在指数尺度上变化时
可以使用对数线性回归
3.3对数几率回归
如果我们要进行的是分类任务
以二分类任务为例,输出标记,最理想的是单位阶跃函数,但单位阶跃函数并不连续,
以此我们使用对数几率函数(sigmoid)来逼近它,
将带入得
我们将称为几率,取对数之后得到的则为对数几率(logit)
3.4线性判别分析(LDA)
LDA是一种经典线性判别方法;
思想:给定训练样例集,设法将样例投影到一条直线上,使同类样例尽可能接近,异类样例尽可能远离。
3.5 课后习题
3-1.试析什么情况下不用考虑偏置项b?
对于向量x的每个值去均值处理后,就不用考虑了。
3-2.试证明对于参数w,对数几率回归目标函数非凸,但其对数似然是凸函数。
很显然二阶导数不恒大于0,非凸;
恒大于0.