基本形式 给定由d个属性描述的示例 x=(x1;x2;…;xd) xi 是x在第i个属性上的取值,线性模型试图学得一个通过属性的线性组合进行预测的函数 f(x)=wTx+b w=(w1;w2;…;wd) 线性回归 线性回归试图学得一个线性模型以尽可能准确地预测实值输出标记,以均方误差进行度量,学得w和b,使得f(x)近似等于y,y为标号。在线性回归中,最小二乘法就是试图找到一条直线,使所有样本到直线上的欧氏距离之和最小。 线性判别分析 设法将样例投影到一条直线上,使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离;在对新样本进行分类时,将其投影到同样的这条直线上,再根据投影点的位置来确定新样本的类别。 欲使同样样例的投影点尽可能接近,可以让同类样例投影点的协方差尽可能小;而欲使异类样例的投影点尽可能远离,可以让类中心之间的距离尽可能大。 多分类学习 多分类学习的基本思路是“拆解法”,即将多分类任务拆为若干个二分类任务求解。具体来说,先对问题进行拆分,然后为拆出的每个二分类任务训练一个分类器;在测试时,对这些分类器的预测结果进行集成以获得最终的多分类结果。 最经典的拆分策略有三种“一对一”、“一对其余”和“多对多” “一对一”将给定数据集的N个类别两两配对,从而产生N(N-1)/2个二分类任务,假设为了区分类别C和B训练一个分类器,该分类器把D中的C类样例作为正例,B类样例作为反例。在测试阶段,新样本将同时提交给所有分类器,可得到N(N-1)/2个分类结果,最终结果可通过投票产生:即把被预测的最多的类别作为最终分类结果。 “一对其余”是每次将一个类的样例作为正例、所有其他类的样例作为反例来训练N个分类器。在测试时若仅有一个分类器预测为正类,则对应的类别标记作为最终分类结果,若有多个分类器预测为正类,则通常考虑各分类器的预测置信度,选择置信度最大的类别标记作为分类结果。 “多对多”是每次将若干个类作为正类,若干个其他类作为反类。显然,前两中是多对多策略的特例