机器学习Day3

第三章 线性模型

1.形式

一般用向量形式表示，f(x)=w^Tx+b

2.线性回归

线性回归试图学得一个线性模型以尽可能准确地预测实值输出标记
最小二乘法：基于均方差最小化来进行模型求解的方法，即试图找到一条直线，使所有样本到直线上的欧氏距离之和最小
多元线性回归：样本有d个属性描述

3.线性判别分析

线性判别分析（LDA）：是一种经典的线性学习方法，设法将样例投影到一条直线上，使同类样例的投影点尽可能接近、异类样例的投影点尽可能远离

4.多分类学习

多分类学习：将多分类任务拆解为若干二分类任务
拆解方法：一对一，一对其他，多对多
一对一（OvO）:将N个类别两两配对，一半正例，一半反例
一对其他（OvR）：将一个类的样例作为正例，其他作为反例
多对多（MvM）：对N个类别做M次划分，每次划分将一部分作为正例，一部分作为反例