一般地,给定由d个属性描述的示例,其中
是X在第i个属性上的取值,线性模型通常试图学得一个通过属性的线性组合来进行预测的函数,即
,一般写成向量的形式为:
,这里w和b是参数,一旦参数确定则对应的模型也就确定了。
最小二乘法
给定数据集,其中
,
,目标是:试图学习一个线性模型以尽可能地准确预测实值输出标记y。
1.一般给出的属性均为文本数据,要先进行离散化或连续化
2.优化目标函数
分别针对上式对w和b进行求导置零可得对应的w和b的解
推广最小二乘法到多元线性回归上,即
在最小二乘法的基础上针对输出标记添加适当的指数尺度变化,可以将线性模型变化成非线性模型譬如。
线性判别分析:LDA
LDA的思想非常朴素:给定训练样例集,设法将样例投影到一条直线上,使得同类样例的投影点尽可能的接近,而不同类的样例的投影点尽可能的远离。给定类别样本的中心U0,U1,则类样本中心在直线上的投影为U0,
U1,若将所有的样本点都投影到直线上,则两类样本的协方差分别为
,
,则LDA的最大化目标式为:
多分类学习
目前基于多分类学习的基本策略是,利用二分类学习器来解决多分类的问题。一般地,考虑N个类别C1,C2,...,CN。多分类的基本思路为“拆解法”。
对应的拆解法有:”一对一“(one.vs.one——OvO),即将原始数据集依据类别进行一一配对,形成N(N-1)/2个学习器,然后依据分类器的输出结果进行投票,投票结果作为最终的分类结果。
“一对其余”(one.vs.Rest——OvR),即将原始数据集依据某一个类别进行划分,该类别为正例,非该类别为反例,从而形成N个学习器,若N个学习器只有一个判断为正例,则判断为正例;若有多个学习器输出为正例,则选择所有学习器中置信度比较高的学习器输出结果作为分类结果。
“多对多”(Many.vs.Many——MvM),即将N个类做M次划分,选取一部分类别做为正例,其他类别作为反例,然后根据形成M个学习器分别对测试样本进行预测,这些预测标记形成一个编码,将该预测编码和每个类的编码进行比较,返回其中相似度比较大(距离较小)的类别作为预测结果。