线性模型

基本形式

给定由d个属性描述的示例 x=(x₁;x₂;…;x_d） x_i 是x在第i个属性上的取值，线性模型试图学得一个通过属性的线性组合进行预测的函数 f(x)=w^Tx+b w=(w₁;w₂;…;w_d)

线性回归

线性回归试图学得一个线性模型以尽可能准确地预测实值输出标记，以均方误差进行度量，学得w和b，使得f(x)近似等于y,y为标号。在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧氏距离之和最小。

线性判别分析

设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离；在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别。

欲使同样样例的投影点尽可能接近，可以让同类样例投影点的协方差尽可能小；而欲使异类样例的投影点尽可能远离，可以让类中心之间的距离尽可能大。

多分类学习

多分类学习的基本思路是“拆解法”，即将多分类任务拆为若干个二分类任务求解。具体来说，先对问题进行拆分，然后为拆出的每个二分类任务训练一个分类器；在测试时，对这些分类器的预测结果进行集成以获得最终的多分类结果。

最经典的拆分策略有三种“一对一”、“一对其余”和“多对多”

“一对一”将给定数据集的N个类别两两配对，从而产生N（N-1）/2个二分类任务，假设为了区分类别C和B训练一个分类器，该分类器把D中的C类样例作为正例，B类样例作为反例。在测试阶段，新样本将同时提交给所有分类器，可得到N（N-1）/2个分类结果，最终结果可通过投票产生：即把被预测的最多的类别作为最终分类结果。

“一对其余”是每次将一个类的样例作为正例、所有其他类的样例作为反例来训练N个分类器。在测试时若仅有一个分类器预测为正类，则对应的类别标记作为最终分类结果，若有多个分类器预测为正类，则通常考虑各分类器的预测置信度，选择置信度最大的类别标记作为分类结果。

“多对多”是每次将若干个类作为正类，若干个其他类作为反类。显然，前两中是多对多策略的特例