线性模型

一般地，给定由d个属性描述的示例，其中是X在第i个属性上的取值，线性模型通常试图学得一个通过属性的线性组合来进行预测的函数，即

，一般写成向量的形式为：，这里w和b是参数，一旦参数确定则对应的模型也就确定了。

最小二乘法

给定数据集，其中​​​​​，，目标是：试图学习一个线性模型以尽可能地准确预测实值输出标记y。

1.一般给出的属性均为文本数据，要先进行离散化或连续化

2.优化目标函数

---

分别针对上式对w和b进行求导置零可得对应的w和b的解

---

推广最小二乘法到多元线性回归上，即

在最小二乘法的基础上针对输出标记添加适当的指数尺度变化，可以将线性模型变化成非线性模型譬如。

线性判别分析：LDA

LDA的思想非常朴素：给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能的接近，而不同类的样例的投影点尽可能的远离。给定类别样本的中心U0,U1,则类样本中心在直线上的投影为U0，U1,若将所有的样本点都投影到直线上，则两类样本的协方差分别为，，则LDA的最大化目标式为：

多分类学习

目前基于多分类学习的基本策略是，利用二分类学习器来解决多分类的问题。一般地，考虑N个类别C1,C2,...，CN。多分类的基本思路为“拆解法”。

对应的拆解法有：”一对一“（one.vs.one——OvO），即将原始数据集依据类别进行一一配对，形成N（N-1）/2个学习器，然后依据分类器的输出结果进行投票，投票结果作为最终的分类结果。

“一对其余”（one.vs.Rest——OvR），即将原始数据集依据某一个类别进行划分，该类别为正例，非该类别为反例，从而形成N个学习器，若N个学习器只有一个判断为正例，则判断为正例；若有多个学习器输出为正例，则选择所有学习器中置信度比较高的学习器输出结果作为分类结果。

“多对多”（Many.vs.Many——MvM），即将N个类做M次划分，选取一部分类别做为正例，其他类别作为反例，然后根据形成M个学习器分别对测试样本进行预测，这些预测标记形成一个编码，将该预测编码和每个类的编码进行比较，返回其中相似度比较大（距离较小）的类别作为预测结果。