第三章 线性模型

对于线性模型的理解：
    线性模型试图学得一个通过属性的线性组合来预测的函数，本章主要介绍了三种线性模型：
    回归任务的线性模型、二分类任务的线性模型、多分类任务的线性模型。
1、回归任务的线性模型
    （1）对于输入属性数目只有一个的
        基于均方误差最小化的最小二乘法来求解，即找到一条直线，使得所有样本到直线上的
        欧式距离之和最小。即求的这条直线的W，b 的最优解。
    （2）对于输入属性数目有多个的
2、二分类任务的线性模型
        同样用最小二乘法对W和b进行估计，把数据集表示为一个m x (d+1)大小的矩阵X。
        LDA（线性判别分析）：设法将指定的训练集投影到一条直线上，使得同类样例尽可能的
                        近，异类样例尽可能的远离，在对新鲜样本进行分类时将其同样的这条直线
                        上，再根据投影点的位置来确定新样本的类别。
3、多分类任务的线性模型
    采用拆解法，即将多个任务拆解为若干个二分类任务求解；
    主要介绍了三种方法：OvO（一对一）、OvR（一对其余）、MvM（多对多）
    （1）OvO（一对一）:
        将N个类别两两配对，产生N(N-1)/2个二分类任务，然后在测试时将新样本同时提交给
        所有分类器得到N(N-1)/2个结果，最后把预测得到最多的类别作为最终分类结果。
    （2）OvR（一对其余）：
        每次将一个类的样例作为正例、所有其他样例作为反例来训练N个分类器，测试时若得到的预测结果
        只有一个分类器是正类，其余都是反类，则该正类作为分类结果，若有多个正类则将各分类器中置信度最大的
        分类器作为分类结果。
    （3）MvM（多对多）：
        每次将若干个类作为正类，若干个其他类作为反类
        常用的技术：
            纠错输出码（ECOC）：
                编码：对N个类进行M次划分，每次划分一部分正类一部分反类，从而形成M个二分类训练集
                训练出M个分类器。
                解码：分类器对预测样本进行预测，预测标记组成一个编码，将这个预测编码与每个类别各自的
                编码进行比较，返回其中距离最小的类别作为最终预测结果。
    

未完待续。。。。。。。。。。。。。。。。