3.1 基本形式
(3.1)
给定由d个属性描述的示例x;线性模型通过属性的线形组合进行预测。
3.2 线性回归
线性回归:学得一个线性模型尽可能多准确地预测实值输出标记。
存在序关系的离散属性可以连续化,比如身高:高、低,可连续化为{1,0};若k个属性间不存在序关系,则转化为k维向量。如‘瓜类’取值西瓜、黄瓜、南瓜,则可表示为(1,0,0)、(0,1,0)、(0,0,1)。
线性回归试图学得: 使得
如何求得和b:
最小二乘法:基于均方根最小化
(3.2)
3.3 对数几率回归(logistic regression)
用线性回归模型的预测结果逼近真实标记的对数几率,应用于分类任务。
(3.3)
3.4 线性判别分析
线性判别分析(Linear Discriminate Analysis,LDA):是一种典型的线形学习算法,最早由Fisher(1936)用于二分类任务。
思想:给定训练集设法将其投影到一条直线上,使得同类样例投影点尽可能接近,异类样例投影点尽可能远,对新样例预测时将其投影到直线上看其投影点的位置确定其类别。
3.5 多分类学习
思路:将多个类别的分类问题拆分为若干个二分类任务,然后对这些二分类模型的预测结果进行集成最终获得多分类的结果。
经典拆分策略:OvO一对一、OvR一对其余、MvM多对多。
一对一:对N个类别的分类任务;将N个类别两两配对,为区分类别Ci和Cj训练一个训练器,总共N(N-1)/2个分类器,对测试样例的结果,由全部分类结果投票决定,把预测的最多的类别作为最终分类结果。
一对其余:将一个类的样例作为正例,其余类的样例作为反例来训练N个分类器,在测试时若仅有一个分类器预测为正类,则对应的类别标记作为最终结果。
多对多:每次将若干个类别作为正类,若干个其它类别作为反类。
ECOC(纠错输出码):将编码的思想引入类别的拆分,分为编码和解码。
编码:对N个类别分别做M次划分,每次一部分样例为正类,其余样例为反类。从而产生M个二分类训练器。
解码:M个分类器分别对测试样例进行预测,这些预测标记组成一个预测编码。将这个预测编码与每个类别在各个分类器上的编码进行比较,返回其中距离最小的类别作为最终预测结果。