周志华 机器学习 Day5

线性回归模型简写为

假设，我们认为示例所对应的输出标记是在指数尺度上的变化，那就可以将输出标记的对数作为线性模型逼近的目标，即

上述即“对数线性回归”，实际上是在试图让逼近y，上式形式上仍是线性回归，但是实际已是在求取输入空间到输出空间的非线性函数映射，如下图。

这里的对数函数起到了将线性回归模型的预测与真实标记联系起来的作用。

对数几率回归

对于分类任务，寻找一个单调可微函数将分类任务的真实标记y与现行回归模型的预测值联系起来。

二分类任务，输出标记y∈{0,1}，而线性回归模型产生的预测值是实值，于是，我们需要将实值z转换为0/1值，最理想的是“单位阶跃函数”，即

若z大于零判定为正例，小于零则为反例，预测值为临界值零则可任意判别，如图

但是单位阶跃函数不连续，于是我们希望寻到一定程度上接近单位阶跃函数的“替代函数”，对数几率函数整符合。

我们常称为“Sigmoid 函数”，即将z值转化为一个接近0或者1的y值，并且其输出值在z=0附近变化很陡。将z=

代入上式，可得

同样地，上式可变换为

线性判别分析

线性判别分析，简称LDA，是一种经典的线性学习方法。

其思想是：给定训练样例集，设法将样例投影到一条直线上，是的同类样例的投影点尽可能接近、异类样例的投影点尽可能远离。

给定数据集D，令xi、μi、∑i分别表示第i∈{0,1}类示例的集合、均值向量、协方差矩阵，将数据投影在直线w上，则中心投影为wTμ0和wTμ1；协方差为wT∑0w和wT∑1w，均为实数。欲使同类样例的投影点尽可能接近，可使同类样例投影点的协方差尽可能小；欲使投影点远离，可以让类中心之间的距离尽可能大；同时考虑，可得到欲最大化的目标

定义“类内散度矩阵”

以及“类间散度矩阵”

则上式J可改写成

这就是LDA欲最大化的目标，即Sb欲Sw的“广义瑞利商”。

由于式子中均是与w有关，则可推得w的式子求解为